En tant que Lead Data Engineer, vous serez responsable de la conception de nos alimentations, du suivi opérationnel et de l’encadrement d’une équipe de 3 data engineers. Vous travaillerez en étroite collaboration avec nos équipes de développement, d'opérations et de gestion de produits pour garantir la création de solutions robustes, évolutives et hautement performantes.

Les missions :

-Concevoir des pipelines de données robustes, automatisés et génériques en utilisant Apache Airflow (Astronomer) pour l’orchestration dans des environnements cloud AWS et Azure.

-Participer à la conception et à l'implémentation de l'architecture de données, en assurant la disponibilité, la performance, la sécurité et la fiabilité des systèmes.

-Mettre en place des mécanismes de surveillance pour suivre les métriques de performance, les erreurs potentielles et définir des alertes pour les situations critiques.

-Mettre en place des outils de sécurisation, monitoring, backup, répartition des charges, etc

-Documenter les pipelines, les flux de données, les schémas de base de données et autres composants, facilitant ainsi la compréhension et la maintenance du système.

-Collaborer avec les équipes de data science pour intégrer les données et modèles selon une approche MLOps.

-Intégrer les bases de données relationnelles (postgreSQL) et MongoDB dans les solutions architecturales, en tenant compte des exigences de performances et de disponibilité.

-Assurer le suivi opérationnel des traitements (monitoring, support clients technique).

-Piloter l’activité de l’équipe de gestion des données transversalement aux différents projets.

Votre profil :

-8 années d’expériences minimum sur des projets similaires

-Une bonne connaissance des environnements cloud AWS et Azure, idéalement avec Kubernetes

-Au moins une expérience significative sur Airflow/Astronomer.

-Maîtrise des bases de données relationnelles et expérience avec MongoDB.

-Capacité à communiquer efficacement et à travailler en équipe, tout en faisant preuve d'autonomie.

-Bonne compréhension des méthodologies Agile et des pratiques DevOps.

Les technologies suivantes n’ont pas de secret pour vous :

-Systèmes : Windows, Linux (ubuntu, WSL2), réseaux

-Langages : Python (pandas, polars, scikit), SQL, Shell

-Logiciels : Airflow/Astronomer, dbt, openlineage

-Bases de données : postgreSQL, mongoDB

-Conteneurs : Docker/Podman

-Divers : Github, VSCode, Azure devops