Empresa con especialización en el sector gran consumo, siendo el partner tecnológico de empresas referentes en el sector alimentación y bebidas, busca un perfil como Data Engineer para sus oficinas en Manresa.¿Cómo será tu día a día?
- Tu misión será asegurar y mantener todos los procesos relacionados con la integración, construcción, procesamiento y extracción de las bases de datos
- Liderar el diseño y desarrollo de arquitecturas de datos robustos y escalables, garantizando la eficiencia, la fiabilidad y el rendimiento óptimo.
- Crear y mantener pipelines de datos complejos y de alto rendimiento utilizando herramientas como Python, PySpark y tecnologías relacionadas.
- Desarrollar y mantener infraestructuras de datos de vanguardia utilizando plataformas como Azure Datalake, Kubernetes y otras tecnologías de Big Data.
- Desarrollar y mantener scripts y herramientas de web scraping para la extracción de datos de fuentes externas
- Implementar pruebas unitarias y de integración para garantizar la calidad y fiabilidad de los sistemas de datos desarrollados.
- Proporcionar orientación técnica y liderazgo al equipo en la resolución de problemas complejos de programación y arquitectura de datos.
- Investigar y evaluar nuevas tecnologías y herramientas para mejorar continuamente nuestras capacidades de gestión y análisis de datos.
Nuestro perfil
- Experiencia significativa (mínimo 5 años) en el diseño, desarrollo e implementación de pipelines de datos complejos utilizando Python, PySpark u otras tecnologías similares.
- Licenciatura/grado o posgrado en Ciencias de la Computación, Ingeniería Informática, Matemáticas, o campos relacionados.
- Profundo conocimiento y experiencia en la construcción de infraestructuras de datos escalables y de alto rendimiento utilizando Azure Datalake, Kubernetes y otras tecnologías de Big Data.
- Experiencia en el diseño y desarrollo de arquitecturas de datos distribuidas y en la resolución de problemas de escalabilidad y rendimiento.
- Valorable experiencia en desarrollo y aplicación de modelos de machine learning.
- Fuertes habilidades de liderazgo y capacidad para proporcionar orientación técnica al equipo.