Descriptif du poste
Le bénéficiaire souhaite une prestation d'accompagnement pour assurer le MCO des Infrastructures HDP et CDP, administration des Clusters.
Les consultants retenus auront pour mission :
Administration et optimisation de clusters HDP/CDP
Installation, configuration et maintenance des clusters
Gestion des mises à jour et des patchs de sécurité
Surveillance des performances et optimisation des ressources
Gestion/administration de clusters Kubernetes
Automatisation des déploiements avec Operators
Sécurisation et monitoring des environnements conteneurisés
Orchestration des workflows avec Apache Airflow
Développement et optimisation des DAGs pour la gestion des pipelines de données
Gestion des dépendances et optimisation des temps d'exécution
Intégration avec les autres outils de l'écosystème
Traitement et analyse des données avec Apache Spark
Développement et optimisation des jobs Spark (batch et streaming)
Gestion des performances et tuning des jobs
Intégration avec les systèmes de stockage distribués
Optimisation des requêtes et accès aux données avec Starburst
Configuration et administration de Starburst
Optimisation des requêtes SQL distribuées
Sécurisation et gestion des accès aux différentes sources de données
Les consultants retenus auront pour mission :
Administration et optimisation de clusters HDP/CDP
Installation, configuration et maintenance des clusters
Gestion des mises à jour et des patchs de sécurité
Surveillance des performances et optimisation des ressources
Gestion/administration de clusters Kubernetes
Automatisation des déploiements avec Operators
Sécurisation et monitoring des environnements conteneurisés
Orchestration des workflows avec Apache Airflow
Développement et optimisation des DAGs pour la gestion des pipelines de données
Gestion des dépendances et optimisation des temps d'exécution
Intégration avec les autres outils de l'écosystème
Traitement et analyse des données avec Apache Spark
Développement et optimisation des jobs Spark (batch et streaming)
Gestion des performances et tuning des jobs
Intégration avec les systèmes de stockage distribués
Optimisation des requêtes et accès aux données avec Starburst
Configuration et administration de Starburst
Optimisation des requêtes SQL distribuées
Sécurisation et gestion des accès aux différentes sources de données
Langues requises
Français/Anglais
VISIAN est une société de conseil spécialisée autour de l'innovation, la conception produit et la data.
Dans un marché où les enjeux de recrutement sont clés et où le nombre de freelances est en constante augmentation, Visian a créé une entité dédiée au recrutement de freelances experts du digital et d’IT.
VISIAN, filiale d'un grand groupe technologique de plus de 6500 personnes, est une société de conseil spécialisée dans l'innovation, la conception de produits et la data. Ses consultants technophiles allient compréhension des enjeux digitaux et vision produit. De la structuration des DSI à la conception de produits digitaux en passant par la valorisation de la data, VISIAN concrétise les objectifs de ses clients en faisant converger ambition et faisabilité. Fondée par des consultants, VISIAN connait une croissance rapide pour atteindre 14 millions de CA cette année et renforce ses partenariats avec de nombreux clients grands-comptes sur Paris et Marseille.