Data Engineer Hadoop/Cloudera/Airflow/SparkLes missions sont :
Les consultants retenus auront pour mission :
• Administration et optimisation de clusters HDP/CDP
• Installation, configuration et maintenance des clusters.
• Gestion des mises à jour et des patchs de sécurité.
• Surveillance des performances et optimisation des ressources.
• gestion/administration de clusters Kubernetes
• Automatisation des déploiements avec Operators…, etc.
• Sécurisation et monitoring des environnements conteneurisés.
• Orchestration des workflows avec Apache Airflow :
• Développement et optimisation des DAGs pour la gestion des pipelines de données.
• Gestion des dépendances et optimisation des temps d’exécution.
• Intégration avec les autres outils de l’écosystème.
• Traitement et analyse des données avec Apache Spark :
• Développement et optimisation des jobs Spark (batch et streaming).
• Gestion des performances et tuning des jobs.
• Intégration avec les systèmes de stockage distribués.
• Optimisation des requêtes et accès aux données avec Starburst :
• Configuration et administration de Starburst.
• Optimisation des requêtes SQL distribuées.
• Sécurisation et gestion des accès aux différentes sources de données.
Français/Anglais
None NoneCrée en 1999, Objectware est une société de conseil et d’ingénierie informatique spécialisée dans le secteur de la banque, de la finance de marché, et de l’assurance, dont la notoriété sur les grands comptes de la place de Paris a fait un spécialiste reconnu des décideurs en Maîtrise d’ouvrage comme en Maîtrise d’œuvre. Notre activité couvre la totalité du cycle de vie des systèmes d'informations (Pilotage et Gestion de projet, Conseil en MOA, Conception, Réalisation, Maintenance, Production Exploitation).