.En Logicalis Spain estamos buscando a varios perfiles de Data Engineer, con conocimientos de Python, Pyspark, AWS EMR Serverless y Apache Airflow para el área de Data & Analytics y para el área de Data de uno de nuestros principales clientes del sector seguros. REQUISITOS FUNCIONALES: Como Data Engineer Senior, serás responsable de diseñar, construir y optimizar pipelines de datos escalables y eficientes que soporten grandes volúmenes de datos. Utilizarás tecnologías clave como Python, PySpark y AWS EMR Serverless para procesar y analizar datos masivos, y gestionarás la automatización de flujos de trabajo con Apache Airflow. Trabajarás en estrecha colaboración con otros equipos técnicos, como ingenieros de software y científicos de datos, para garantizar la entrega oportuna de datos limpios y accesibles para los modelos analíticos y de machine learning. RESPONSABILIDADES: Diseñar y desarrollar pipelines de procesamiento de datos utilizando Python y PySpark para grandes volúmenes de datos. Implementar y gestionar clústeres escalables utilizando AWS EMR Serverless para procesar y analizar datos de manera eficiente. Automatizar flujos de trabajo de datos complejos mediante Apache Airflow, garantizando la orquestación y ejecución confiable de tareas. Optimizar el rendimiento de los pipelines y asegurar la integridad, calidad y disponibilidad de los datos en tiempo real. Monitorear el rendimiento de las soluciones de datos y resolver cualquier incidente relacionado con los pipelines de datos o la infraestructura en AWS. Implementar buenas prácticas de almacenamiento y procesamiento de datos en la nube, enfocándose en la optimización de costos y rendimiento. Documentar procesos y flujos de trabajo de datos, asegurando que el equipo tenga un acceso claro y consistente a los recursos de datos. REQUISITOS TÉCNICOS: Más de 5 años de experiencia trabajando en ingeniería de datos, con un fuerte enfoque en la construcción y optimización de pipelines de datos. Sólida experiencia en programación con Python y uso avanzado de PySpark para el procesamiento de datos distribuidos. Experiencia en la configuración y gestión de entornos basados en AWS EMR Serverless para el procesamiento de grandes volúmenes de datos. Conocimiento profundo de Apache Airflow para la automatización y orquestación de flujos de trabajo de datos. Experiencia en el diseño y uso de AWS (S3, Lambda, Glue, etc.) para almacenamiento, procesamiento y análisis de datos en la nube. Experiencia en la optimización de consultas y procesamiento de datos, asegurando eficiencia y escalabilidad. Habilidades sólidas en la resolución de problemas y la optimización de procesos de ingesta y procesamiento de datos. Experiencia trabajando en entornos colaborativos y ágiles. BENEFICIOS > Incorporación inmediataa compañía líder del sector IT con un alto grado de expertise en el área de Data & Analytics dónde nos encontramos en pleno proceso de expansión