Consultant DataOps / Administrateur Hadoop

Description du poste

Dans le cadre de ses projets Big Data internes, notre client recherche un Consultant DataOps & Administrateur Hadoop confirmé, intégré à l’équipe BDP (Big Data Platform).

Le consultant interviendra sur le déploiement, l’industrialisation, l’exploitation et le maintien en condition opérationnelle de clusters Big Data personnalisés, basés sur la TOSIT Data Platform (TDP), au service des projets data et métiers.

• Déploiement automatisé de clusters via pipelines Jenkins

• Installation et configuration des composants Hadoop via Ansible

• Adaptation des architectures selon les besoins projets (sécurité, performance, capacité)

• Contribution aux pratiques CI/CD et Infrastructure as Code

• Déploiement et administration du TDP Manager

• Mise en place de Hue pour les environnements Datalab

Le consultant est responsable de l’installation, la configuration et l’exploitation de :

• Sécurité & identités :

  • OpenLDAP

  • Kerberos

  • Ranger (politiques de sécurité)

• Stockage & calcul distribué :

  • HDFS (baie Huawei)

  • Hadoop (YARN, services core)

• Traitement & accès aux données :

  • Spark

  • Hive

• Services transverses :

  • ZooKeeper

  • PostgreSQL

Responsabilités associées :

• Gestion des dépendances inter-services

• Cohérence des versions

• Optimisation des performances et de la stabilité

• Résolution des incidents complexes

• Provisionnement de VM sous VMware

• Préparation des prérequis systèmes (OS, réseau, stockage)

• Automatisation via Ansible et scripts Bash

• Gestion des environnements DEV / RECETTE / PROD

• Mise en œuvre et maintien de la stack d’observabilité :

  • Prometheus

  • Alertmanager

  • Loki / Promtail

  • Grafana

• Définition des indicateurs de supervision

• Analyse proactive des alertes

• Diagnostic et résolution d’incidents

• Administration quotidienne des clusters Hadoop

• Support aux équipes projets et utilisateurs Datalab

• Gestion des incidents, demandes d’évolution et correctifs

• Montées de version

• Suivi de capacité (CPU, RAM, stockage)

• Rédaction et mise à jour de la documentation technique

• Participation active aux rituels d’équipe

• Coordination avec :

  • Équipes infrastructure

  • Équipes projets data / métiers

  • Référents sécurité

• Capacité à accompagner et conseiller les équipes dans l’usage de la plateforme

• Forte capacité de communication transverse

• Expertise Hadoop / Big Data on-prem

• Solide expérience DataOps / DevOps

• Maîtrise de :

  • Jenkins, GitLab CI/CD, SonarQube

  • Ansible, Bash

  • VMware, Docker

  • Stack d’observabilité (Prometheus, Grafana, Loki)

• Rigueur et sens de la qualité

• Forte sensibilité aux enjeux de sécurité

• Capacité d’anticipation (supervision, performance, capacité)

• Autonomie et esprit d’équipe

• Aisance dans des environnements complexes et critiques

• Forte interdépendance des composants Hadoop

• Exigences élevées en matière de sécurité (Kerberos, Ranger)

• Enjeux de performance et de disponibilité

• Nécessité d’une coordination transverse permanente

• Déploiement automatisé de clusters via pipelines Jenkins

• Installation et configuration des composants Hadoop via Ansible

• Adaptation des architectures selon les besoins projets (sécurité, performance, capacité)

• Contribution aux pratiques CI/CD et Infrastructure as Code

• Déploiement et administration du TDP Manager

• Mise en place de Hue pour les environnements Datalab

Le consultant est responsable de l’installation, la configuration et l’exploitation de :

• Sécurité & identités :

  • OpenLDAP

  • Kerberos

  • Ranger (politiques de sécurité)

• Stockage & calcul distribué :

  • HDFS (baie Huawei)

  • Hadoop (YARN, services core)

• Traitement & accès aux données :

  • Spark

  • Hive

• Services transverses :

  • ZooKeeper

  • PostgreSQL

Responsabilités associées :

• Gestion des dépendances inter-services

• Cohérence des versions

• Optimisation des performances et de la stabilité

• Résolution des incidents complexes

• Provisionnement de VM sous VMware

• Préparation des prérequis systèmes (OS, réseau, stockage)

• Automatisation via Ansible et scripts Bash

• Gestion des environnements DEV / RECETTE / PROD

• Mise en œuvre et maintien de la stack d’observabilité :

  • Prometheus

  • Alertmanager

  • Loki / Promtail

  • Grafana

• Définition des indicateurs de supervision

• Analyse proactive des alertes

• Diagnostic et résolution d’incidents

• Administration quotidienne des clusters Hadoop

• Support aux équipes projets et utilisateurs Datalab

• Gestion des incidents, demandes d’évolution et correctifs

• Montées de version

• Suivi de capacité (CPU, RAM, stockage)

• Rédaction et mise à jour de la documentation technique

• Participation active aux rituels d’équipe

• Coordination avec :

  • Équipes infrastructure

  • Équipes projets data / métiers

  • Référents sécurité

• Capacité à accompagner et conseiller les équipes dans l’usage de la plateforme

• Forte capacité de communication transverse

• Expertise Hadoop / Big Data on-prem

• Solide expérience DataOps / DevOps

• Maîtrise de :

  • Jenkins, GitLab CI/CD, SonarQube

  • Ansible, Bash

  • VMware, Docker

  • Stack d’observabilité (Prometheus, Grafana, Loki)

• Rigueur et sens de la qualité

• Forte sensibilité aux enjeux de sécurité

• Capacité d’anticipation (supervision, performance, capacité)

• Autonomie et esprit d’équipe

• Aisance dans des environnements complexes et critiques

• Forte interdépendance des composants Hadoop

• Exigences élevées en matière de sécurité (Kerberos, Ranger)

• Enjeux de performance et de disponibilité

• Nécessité d’une coordination transverse permanente

• Déploiement automatisé de clusters via pipelines Jenkins

• Installation et configuration des composants Hadoop via Ansible

• Adaptation des architectures selon les besoins projets (sécurité, performance, capacité)

• Contribution aux pratiques CI/CD et Infrastructure as Code

• Déploiement et administration du TDP Manager

• Mise en place de Hue pour les environnements Datalab

Le consultant est responsable de l’installation, la configuration et l’exploitation de :

• Sécurité & identités :

  • OpenLDAP

  • Kerberos

  • Ranger (politiques de sécurité)

• Stockage & calcul distribué :

  • HDFS (baie Huawei)

  • Hadoop (YARN, services core)

• Traitement & accès aux données :

  • Spark

  • Hive

• Services transverses :

  • ZooKeeper

  • PostgreSQL

Responsabilités associées :

• Gestion des dépendances inter-services

• Cohérence des versions

• Optimisation des performances et de la stabilité

• Résolution des incidents complexes

• Provisionnement de VM sous VMware

• Préparation des prérequis systèmes (OS, réseau, stockage)

• Automatisation via Ansible et scripts Bash

• Gestion des environnements DEV / RECETTE / PROD

• Mise en œuvre et maintien de la stack d’observabilité :

  • Prometheus

  • Alertmanager

  • Loki / Promtail

  • Grafana

• Définition des indicateurs de supervision

• Analyse proactive des alertes

• Diagnostic et résolution d’incidents

• Administration quotidienne des clusters Hadoop

• Support aux équipes projets et utilisateurs Datalab

• Gestion des incidents, demandes d’évolution et correctifs

• Montées de version

• Suivi de capacité (CPU, RAM, stockage)

• Rédaction et mise à jour de la documentation technique

• Participation active aux rituels d’équipe

• Coordination avec :

  • Équipes infrastructure

  • Équipes projets data / métiers

  • Référents sécurité

• Capacité à accompagner et conseiller les équipes dans l’usage de la plateforme

• Forte capacité de communication transverse

• Expertise Hadoop / Big Data on-prem

• Solide expérience DataOps / DevOps

• Maîtrise de :

  • Jenkins, GitLab CI/CD, SonarQube

  • Ansible, Bash

  • VMware, Docker

  • Stack d’observabilité (Prometheus, Grafana, Loki)

• Rigueur et sens de la qualité

• Forte sensibilité aux enjeux de sécurité

• Capacité d’anticipation (supervision, performance, capacité)

• Autonomie et esprit d’équipe

• Aisance dans des environnements complexes et critiques

• Forte interdépendance des composants Hadoop

• Exigences élevées en matière de sécurité (Kerberos, Ranger)

• Enjeux de performance et de disponibilité

• Nécessité d’une coordination transverse permanente