Administrateur Infrastructures HDP/CDP

Description du poste

Descriptif du poste

Le bénéficiaire souhaite une prestation d'accompagnement pour assurer le MCO des Infrastructures HDP et CDP, administration des Clusters.

Les consultants retenus auront pour mission :

• Administration et optimisation de clusters HDP/CDP

• Installation, configuration et maintenance des clusters

• Gestion des mises à jour et des patchs de sécurité

• Surveillance des performances et optimisation des ressources

• Gestion/administration de clusters Kubernetes

• Automatisation des déploiements avec Operators

• Sécurisation et monitoring des environnements conteneurisés

• Orchestration des workflows avec Apache Airflow

• Développement et optimisation des DAGs pour la gestion des pipelines de données

• Gestion des dépendances et optimisation des temps d'exécution

• Intégration avec les autres outils de l'écosystème

• Traitement et analyse des données avec Apache Spark

• Développement et optimisation des jobs Spark (batch et streaming)

• Gestion des performances et tuning des jobs

• Intégration avec les systèmes de stockage distribués

• Optimisation des requêtes et accès aux données avec Starburst

• Configuration et administration de Starburst

• Optimisation des requêtes SQL distribuées

• Sécurisation et gestion des accès aux différentes sources de données

Les consultants retenus auront pour mission :

• Administration et optimisation de clusters HDP/CDP

• Installation, configuration et maintenance des clusters

• Gestion des mises à jour et des patchs de sécurité

• Surveillance des performances et optimisation des ressources

• Gestion/administration de clusters Kubernetes

• Automatisation des déploiements avec Operators

• Sécurisation et monitoring des environnements conteneurisés

• Orchestration des workflows avec Apache Airflow

• Développement et optimisation des DAGs pour la gestion des pipelines de données

• Gestion des dépendances et optimisation des temps d'exécution

• Intégration avec les autres outils de l'écosystème

• Traitement et analyse des données avec Apache Spark

• Développement et optimisation des jobs Spark (batch et streaming)

• Gestion des performances et tuning des jobs

• Intégration avec les systèmes de stockage distribués

• Optimisation des requêtes et accès aux données avec Starburst

• Configuration et administration de Starburst

• Optimisation des requêtes SQL distribuées

• Sécurisation et gestion des accès aux différentes sources de données

Langues requises

Français/Anglais

VISIAN est une société de conseil spécialisée autour de l'innovation, la conception produit et la data.

Dans un marché où les enjeux de recrutement sont clés et où le nombre de freelances est en constante augmentation, Visian a créé une entité dédiée au recrutement de freelances experts du digital et d’IT.