Job Description Responsabilidades:
- Administración de BigQuery y Cloud Infrastructure: Gestionar y optimizar el entorno de BigQuery, asegurando la disponibilidad, escalabilidad y rendimiento óptimo de las bases de datos.
Implementar y mantener las políticas de seguridad y acceso a los datos en BigQuery, garantizando el cumplimiento de las normativas.
- Diseño y Desarrollo de ETL: Diseñar, desarrollar y gestionar pipelines ETL eficientes para la extracción, transformación y carga de grandes volúmenes de datos utilizando Google Dataflow y automatizar los procesos de ETL y gestionar su orquestación utilizando herramientas como Apache Airflow.
- Optimización de Consultas y Rendimiento:
Diseñar consultas SQL optimizadas en BigQuery, maximizando el rendimiento y minimizando el tiempo de ejecución.
Identificar y resolver cuellos de botella en el procesamiento de datos, ajustando y optimizando los pipelines de ETL.
- Monitorización y Resolución de Incidencias: Implementar herramientas de monitorización como Grafana o Prometheus para asegurar el rendimiento óptimo de las integraciones y detectar posibles incidencias en BigQuery.
- Colaboración con Equipos de Análisis y BI: Colaborar estrechamente con los equipos de análisis de datos y Business Intelligence para proporcionar conjuntos de datos fiables y optimizados.
- Documentación y Mejora Continua: Documentar las arquitecturas de datos, pipelines ETL y configuraciones de BigQuery para garantizar una buena gobernanza de los datos.
Requirements:
- Formación: Grado en Ingeniería Informática, Ciencias de la Computación, Matemáticas o un campo relacionado, o experiencia equivalente.
- Experiencia: Mínimo 3 años de experiencia combinada en la administración de BigQuery y en el diseño e implementación de procesos ETL utilizando Google Cloud Platform.
- Conocimientos Técnicos: Sólida experiencia en SQL, BigQuery, Google Cloud Platform (GCP), Google Dataflow, y en herramientas de orquestación como Apache Airflow y ETL como Talend.
- Habilidades de Programación: Conocimientos en lenguajes como Python, Java o similar, para desarrollar scripts y pipelines ETL.
- Optimización de Consultas: Experiencia en optimización de consultas SQL y en la mejora del rendimiento en entornos de grandes volúmenes de datos.
- Monitorización: Experiencia en la implementación de herramientas de monitorización como Grafana o Prometheus para gestionar y detectar problemas en tiempo real.
- Automatización de Infraestructura: Familiaridad con herramientas como Terraform o Ansible para la administración de infraestructura como código (IaC).
- Deseable: Conocimientos de Dataplex y experiencia con Cortex serán valorados positivamente.
- Comunicación y Colaboración: Capacidad para trabajar en equipo, colaborar con múltiples stakeholders y comunicar conceptos técnicos a equipos no técnicos.
#J-18808-Ljbffr
