En tant que Lead Data Engineer, vous serez responsable de la conception de nos alimentations, du suivi opérationnel et de l’encadrement d’une équipe de 3 data engineers. Vous travaillerez en étroite collaboration avec nos équipes de développement, d'opérations et de gestion de produits pour garantir la création de solutions robustes, évolutives et hautement performantes.

Les missions :

-Concevoir des pipelines de données robustes, automatisés et génériques en utilisant Apache Airflow (Astronomer) pour l’orchestration dans des environnements cloud AWS et Azure.

-Participer à la conception et à l'implémentation de l'architecture de données, en assurant la disponibilité, la performance, la sécurité et la fiabilité des systèmes.

-Mettre en place des mécanismes de surveillance pour suivre les métriques de performance, les erreurs potentielles et définir des alertes pour les situations critiques.

-Mettre en place des outils de sécurisation, monitoring, backup, répartition des charges, etc

-Documenter les pipelines, les flux de données, les schémas de base de données et autres composants, facilitant ainsi la compréhension et la maintenance du système.

-Collaborer avec les équipes de data science pour intégrer les données et modèles selon une approche MLOps.

-Intégrer les bases de données relationnelles (postgreSQL) et MongoDB dans les solutions architecturales, en tenant compte des exigences de performances et de disponibilité.

-Assurer le suivi opérationnel des traitements (monitoring, support clients technique).

-Piloter l’activité de l’équipe de gestion des données transversalement aux différents projets.