AI Data Engineer (Fabric & Azure)

Description du poste

Contexte de la mission

Nous recherchons un Data Engineer IA expérimenté, disposant d’une solide expertise pratique sur Microsoft Fabric, les services de données Azure et les pratiques modernes de data engineering.
Le candidat idéal concevra, optimisera et maintiendra des pipelines de données scalables afin de soutenir des initiatives avancées en analytique et en IA/ML à l’échelle de l’organisation.

• Concevoir, développer et maintenir des pipelines de données scalables sur Microsoft Fabric (Data Factory, Dataflows, Lakehouse, Warehouse, OneLake).

• Développer des processus robustes d’ingestion, de transformation et d’orchestration des données à l’aide d’Azure Data Factory, Azure Databricks, Azure Synapse et Azure Functions.

• Mettre en œuvre et optimiser des architectures Delta Lake pour des données structurées et non structurées.

• Construire des produits de données réutilisables pour supporter les charges de travail en IA, machine learning et analytique.

• Collaborer avec les Data Scientists et les ML Engineers pour industrialiser les modèles via Azure Machine Learning, les expériences Data Science de Fabric ou Databricks.

• Préparer les jeux de données et réaliser le feature engineering adaptés aux workloads IA.

• Automatiser les workflows MLOps, la surveillance des modèles et les pipelines de déploiement.

• Mettre en place des frameworks de qualité des données, d’observabilité, de monitoring et de traçabilité (lineage) à l’aide de Fabric et d’Azure Purview.

• Garantir la conformité avec les standards de gouvernance, de protection des données et de sécurité.

• Gérer les pipelines CI/CD pour le code data via Azure DevOps ou GitHub.

• Collaborer avec les analystes métiers, product owners et experts métiers afin de comprendre les besoins et livrer des solutions data à forte valeur ajoutée.

• Maintenir la documentation des sources de données, modèles de données, pipelines et bonnes pratiques.

• Fournir un accompagnement technique et du mentorat aux développeurs juniors.

• Plus de 10 ans d’expérience en tant que Data Engineer, AI Engineer ou dans un rôle équivalent.

• Forte expérience pratique avec Microsoft Fabric (Lakehouse, Data Engineering, Data Factory, Data Pipelines).

• Expertise approfondie des services de données Azure :

  • Azure Data Factory

  • Azure Databricks / Spark

  • Azure Synapse / SQL Pools

  • Azure Storage (ADLS Gen2)

  • Azure Functions

  • Azure Machine Learning

• Maîtrise de Python et SQL pour le traitement et la transformation des données.

• Expérience dans la conception d’architectures data lakehouse et de pipelines Delta Lake.

• Connaissance des pratiques modernes DevOps/MLOps (gestion de versions, tests, déploiement automatisé).

• Familiarité avec les frameworks de gouvernance des données via Azure Purview ou la gouvernance Fabric.