Data Engineer H/F - AWSNous recherchons un Data Engineer AWS Confirmé H/F (minimum 4 ans d’expérience dans la fonction).
Vos missions:
Concevoir et développer des pipelines et des flux de données.
Intégrer et transformer des données provenant de différentes sources.
Développer et mettre en œuvre des algorithmes de traitement de données avancés.
Collaborer étroitement avec les équipes clients pour comprendre leurs besoins et fournir des solutions adaptées.
Assurer la qualité et la fiabilité des solutions développées.
Conseiller les équipes clients sur les solutions à mettre en place.
Titulaire d’un Bac+5, Ecole d’Ingénieur
Maîtrise d’un ou plusieurs langages de programmation (Python, Scala, Spark, etc.).
Expérience avérée sur un environnement Cloud AWS (S3, EMR, Lambda, Athena, Glue, ECR,…) , incluant l’architecture, le déploiement, l’intégration avec des outils tiers, et l’optimisation des performances.
Expérience dans la conception, l’orchestration et la surveillance de workflows de données avec Apache Airflow, incluant la gestion des DAGs, la planification des tâches et le monitoring des pipelines.
Connaissance de Terraform pour l’Infrastructure as Code, incluant la création, la gestion et l’automatisation des ressources Cloud.
Une connaissance de Dataiku serait un +
Expérience avec Kafka (MSK), incluant la mise en place et l’utilisation de connecteurs pour la collecte et la diffusion de données en temps réel.
Solides compétences en conception et en optimisation de pipelines de données.
Expérience de travail en méthode Agile
Capacité à travailler de manière autonome et en équipe.
Excellentes compétences en communication et en résolution de problèmes.
Maîtrise de l’anglais (oral & écrit dans un contexte international)