Empresa con especialización en el sector gran consumo, siendo el partner tecnológico de empresas referentes en el sector alimentación y bebidas, busca un perfil como Data Engineer para sus oficinas en Manresa.¿Cómo será tu día a día?
• Tu misión será asegurar y mantener todos los procesos relacionados con la integración, construcción, procesamiento y extracción de las bases de datos • Liderar el diseño y desarrollo de arquitecturas de datos robustos y escalables, garantizando la eficiencia, la fiabilidad y el rendimiento óptimo.
• Crear y mantener pipelines de datos complejos y de alto rendimiento utilizando herramientas como Python, PySpark y tecnologías relacionadas.
• Desarrollar y mantener infraestructuras de datos de vanguardia utilizando plataformas como Azure Datalake, Kubernetes y otras tecnologías de Big Data.
• Desarrollar y mantener scripts y herramientas de web scraping para la extracción de datos de fuentes externas • Implementar pruebas unitarias y de integración para garantizar la calidad y fiabilidad de los sistemas de datos desarrollados.• Proporcionar orientación técnica y liderazgo al equipo en la resolución de problemas complejos de programación y arquitectura de datos.
• Investigar y evaluar nuevas tecnologías y herramientas para mejorar continuamente nuestras capacidades de gestión y análisis de datos.
Nuestro perfil • Experiencia significativa (mínimo 5 años) en el diseño, desarrollo e implementación de pipelines de datos complejos utilizando Python, PySpark u otras tecnologías similares.
• Licenciatura/grado o posgrado en Ciencias de la Computación, Ingeniería Informática, Matemáticas, o campos relacionados.
• Profundo conocimiento y experiencia en la construcción de infraestructuras de datos escalables y de alto rendimiento utilizando Azure Datalake, Kubernetes y otras tecnologías de Big Data.
• Experiencia en el diseño y desarrollo de arquitecturas de datos distribuidas y en la resolución de problemas de escalabilidad y rendimiento.
• Valorable experiencia en desarrollo y aplicación de modelos de machine learning.
• Fuertes habilidades de liderazgo y capacidad para proporcionar orientación técnica al equipo.