Data Platform Engineer (Hadoop CDP/HDP, Spark, Airflow, Kubernetes) - IDF

Description du poste

Objectifs de la mission

Le bénéficiaire souhaite une prestation d’accompagnement pour assurer le MCO des Infrastructures HDP et CDP, administration des Clusters,

Prestations demandées

Les missions sont:

Les consultants retenus auront pour mission :

• Administration et optimisation de clusters HDP/CDP

• Installation, configuration et maintenance des clusters.

• Gestion des mises à jour et des patchs de sécurité.

• Surveillance des performances et optimisation des ressources.

• gestion/administration de clusters Kubernetes

• Automatisation des déploiements avec Operators…, etc.

• Sécurisation et monitoring des environnements conteneurisés.

• Orchestration des workflows avec Apache Airflow :

• Développement et optimisation des DAGs pour la gestion des pipelines de données.

• Gestion des dépendances et optimisation des temps d’exécution.

• Intégration avec les autres outils de l’écosystème.

• Traitement et analyse des données avec Apache Spark :

• Développement et optimisation des jobs Spark (batch et streaming).

• Gestion des performances et tuning des jobs.

• Intégration avec les systèmes de stockage distribués.

• Optimisation des requêtes et accès aux données avec Starburst :

• Configuration et administration de Starburst.

• Optimisation des requêtes SQL distribuées.

• Sécurisation et gestion des accès aux différentes sources de données.

Français/Anglais