Objectifs de la mission
Le bénéficiaire souhaite une prestation d’accompagnement pour assurer le MCO des Infrastructures HDP et CDP, administration des Clusters,
Prestations demandées
Les missions sont:
Les consultants retenus auront pour mission :
• Administration et optimisation de clusters HDP/CDP
• Installation, configuration et maintenance des clusters.
• Gestion des mises à jour et des patchs de sécurité.
• Surveillance des performances et optimisation des ressources.
• gestion/administration de clusters Kubernetes
• Automatisation des déploiements avec Operators…, etc.
• Sécurisation et monitoring des environnements conteneurisés.
• Orchestration des workflows avec Apache Airflow :
• Développement et optimisation des DAGs pour la gestion des pipelines de données.
• Gestion des dépendances et optimisation des temps d’exécution.
• Intégration avec les autres outils de l’écosystème.
• Traitement et analyse des données avec Apache Spark :
• Développement et optimisation des jobs Spark (batch et streaming).
• Gestion des performances et tuning des jobs.
• Intégration avec les systèmes de stockage distribués.
• Optimisation des requêtes et accès aux données avec Starburst :
• Configuration et administration de Starburst.
• Optimisation des requêtes SQL distribuées.
• Sécurisation et gestion des accès aux différentes sources de données.
Français/Anglais
None None