Mon client est à la recherche d’un(e) passionné.e par la data, possédant une expertise approfondie sur Spark, Databricks et AWS. Cette opportunité est faite pour toi !
En tant que Data Engineer Senior, tu joueras un rôle essentiel dans la création, la mise en œuvre et la gestion de des pipelines de données. Tu seras responsable de concevoir des architectures de données robustes, de développer des solutions d’intégration de données efficaces et d’optimiser les performances d’infrastructures de données.
Tes missions principales :
- Développer, industrialiser et maintenir des pipelines de données (principalement ETL et ML)
- Effectuer de l’exploration de données et du prototypage rapide
- Mettre en application les meilleures pratiques : versioning, tests automatisés, CI/CD
- Participer activement à l’automatisation des infrastructures basées sur des services de Cloud Computing
- Implémenter des architectures de type Lakehouse pour casser les silos
- Déployer des algorithmes de machine learning at scale et sur des flux de streaming
- Collaborer avec l’ensemble des équipes depuis les spécifications fonctionnelles jusqu’aux validations métiers des solutions implémentées
- Contribuer à la mise en place de méthodologies Agile de type Scrum
Socle technologique et méthodologique :
- Stack technique du poste : Spark, Python, Scala, Scikit learn, MLFlow, Versionning (Git), CI/CD (GitHub Actions/ GitLab/ Jenkins)
- Job orchestration : Apache Airflow
- Data platform: Databricks, Snowflake
- Cloud : AWS et/ ou GCP, Azure
- Méthodo : développement Agile/ travail en équipe collaborative
- Tests automatisés : Pytest, Scalatest, Cucumber
Candidate
Client
