Ingénieur DataOps

Job Description

Optimiser et industrialiser les processus de données en appliquant les principes DevOps à la data afin d’améliorer la fiabilité et la rapidité de mise en production des pipelines.

Responsibilities

• Mise en place et automatisation des pipelines CI/CD pour les projets data
• définition et application des standards de qualité des données (DQ framework)
• gestion des environnements data (dev, staging, prod)
• monitoring des pipelines et mise en place d’alertes
• collaboration avec les équipes Data Engineering, Data Science et IT
• automatisation des tests de données (Great Expectations, Soda)
• gestion du versioning et de la configuration des assets data (dbt, Git)
• assurance de la gouvernance et traçabilité des traitements

Compétences Requises

• maîtrise des outils CI/CD (GitLab CI, GitHub Actions, Jenkins)
• outils de monitoring data (Monte Carlo, Metaplane)
• frameworks de qualité des données (dbt, Great Expectations, Soda)
• scripting Python
• infrastructure as code
• environnements cloud data (Snowflake, BigQuery, Databricks)
• Docker et Kubernetes

Profil Recherché

esprit DevOps appliqué à la data, rigueur, pragmatisme et bonne capacité de collaboration transverse.

How to Apply

Postuler