Lead Data Engineer StreamingContexte de la mission
Dans le cadre du programme de modernisation de la plateforme data du Groupe, vous rejoignez la direction Data Engineering de la DSI Banque de Proximité et Assurance (BPA) en tant que Lead Data Engineer spécialisé en streaming.
Vous serez responsable de la conception, de l’industrialisation et de l’optimisation des pipelines de données temps réel, en lien avec les enjeux métiers autour de la fraude, de la connaissance client, et de la supervision des parcours digitaux.
Vous encadrerez une équipe de 3 à 5 data engineers et collaborerez étroitement avec les architectes, les data scientists et les équipes cloud.
Stack technique & environnement
Streaming & ingestion : Apache Kafka (Confluent), Kafka Connect, REST Proxy
Traitement temps réel : Apache Spark Structured Streaming, Apache Flink (POC en cours)
Orchestration : StreamSets, Airflow
Cloud & stockage : Google Cloud Platform (BigQuery, Cloud Storage), Hadoop (legacy)
Langages : Python, Scala, SQL
CI/CD & Infra : GitLab CI, Terraform, Docker, Kubernetes (GKE)
Monitoring : Grafana, Prometheus, Elastic Stack
Responsabilités
Piloter la conception et l’évolution des pipelines de données temps réel
Encadrer les data engineers et assurer la montée en compétence sur les outils de streaming
Définir les bonnes pratiques d’architecture et de développement (DataOps, CI/CD)
Participer aux choix technologiques et à l’architecture cible (Flink, Starburst, etc.)
Garantir la qualité, la sécurité et la traçabilité des données
Collaborer avec les équipes métier pour traduire les besoins en solutions techniques
Profil recherché
Minimum 7 ans d’expérience en data engineering, dont 3 ans sur des projets de streaming
Maîtrise avancée d’Apache Kafka et Spark Streaming en environnement distribué
Expérience en encadrement technique ou lead d’équipe
Maitrise de Flink
Expérience sur GCP ou autre cloud public
Capacité à dialoguer avec des profils techniques et métiers
Une expérience dans le secteur bancaire, financier ou en fintech est fortement apprécié
Huxley est une société experte en recrutement pour les secteurs IT et Banque, Finance et Assurance reconnue comme l’un des leaders du marché dans ces branches. Nous travaillons avec des entreprises de toutes tailles opérant dans divers domaines d’activités. Nos équipes offrent des solutions de recrutement pour des emplois en CDI, CDD, en assistance technique et prestation de services, de dirigeants et le conseil en gestion de talents. En effet, nous mettons en contact les professionnels avec les meilleures opportunités de l'industrie pour leur permettre d'atteindre leurs objectifs. Notre vaste réseau donne accès aux meilleurs professionnels et nos consultants spécialisés offrent une solution sur mesure en s’adaptant à vos besoins.