Administrateur Plateforme Data (Cloudera & Open Source)

Description du poste

Contexte

Dans le cadre du développement d’une plateforme Data & IA au sein d’un grand groupe du secteur financier, nous recherchons un Data Platform Engineer / Administrateur Data pour assurer l’administration, l’évolution et la fiabilité des infrastructures Data.

Vous interviendrez sur des environnements Big Data basés sur l’écosystème Cloudera et Open Source, au sein d’équipes techniques et métiers.

Administration et exploitation des plateformes Data

• Administrer et maintenir les plateformes Big Data en condition opérationnelle

• Superviser les systèmes et assurer la maintenance corrective et évolutive

• Intervenir sur la résolution d’incidents complexes sur les plateformes Data

Conception et gestion des flux de données

• Identifier les besoins métiers en matière de collecte et stockage de données

• Développer des solutions d’ingestion de données (API, pipelines)

• Concevoir des architectures de stockage robustes (Data Lake / Big Data)

• Automatiser les traitements via batchs et pipelines de données

Valorisation et gouvernance des données

• Industrialiser les processus de transformation et de nettoyage des données

• Gérer des bases de données hétérogènes et multi-sources

• Garantir la conformité et la gouvernance des données

Industrialisation Data Science / IA

• Industrialiser le déploiement de modèles statistiques et machine learning

• Mettre en place des mécanismes de validation et monitoring des modèles

• Assurer le suivi opérationnel des modèles intégrés aux applications

Contribution aux projets Data

• Définir les spécifications techniques

• Assurer le reporting d’avancement auprès du pilotage projet

• Apporter un support technique aux équipes métiers et applicatives

Le poste peut inclure des astreintes par rotation et une participation à la continuité de service des plateformes Data.

Big Data / Cloudera

• Cloudera CDP 7.x

• HBase, Hive, Kafka, Solr

• Spark, Ranger, Knox

• Zookeeper, Kerberos, LDAP

Écosystème Data / Open Source

• Hadoop, Ozone

• Druid, Clickhouse

• Trino / Starburst

• Airflow, Flink

DevOps & automatisation

• Python

• Bash

• Ansible

• Maven / Gradle

Infrastructure

• Linux RedHat 8 / 9

• Kubernetes / OpenShift

• Environnements Data conteneurisés

• Expertise Cloudera CDP 7.x

• Bonne maîtrise Linux RedHat

• Compétences Python / Bash / automatisation

• Expérience sur plateformes Big Data en production

• Bonne compréhension de l’écosystème Open Source Data

• Expérience significative en administration de plateformes Big Data

• Forte capacité d’analyse et de résolution d’incidents

• Capacité à travailler avec des équipes techniques et métiers

• Autonomie, rigueur et sens du service

VISIAN est une société de conseil spécialisée autour de l'innovation, la conception de produits digitaux, le développement sur mesure et la valorisation de la data, accompagnant ses clients dans la transformation de leurs idées en solutions concrètes.