Senior Data Engineer Big Data Contexte
Dans le cadre de son plan de transformation Data, un grand groupe média poursuit un objectif central : développer des applications Data permettant aux directions métiers (pilotage, marketing, commerce, etc.) de gagner en autonomie dans l'analyse de leurs données et le suivi de leurs KPI mais aussi de mettre en place des applications customer-facing.
Pour répondre à cet enjeu, ce groupe s'appuie sur un écosystème technologique étendu, comprenant notamment : AWS, GitLab, Terraform, DBT, Snowflake, GenAI, Braze, Scala, Spark, Python, Power BI, ainsi que des briques d'Intelligence Artificielle.
La plateforme repose sur des architectures robustes et évolutives (Datalake, Lakehouse, des architectures multi-tenant, des architectures event-driven et streaming) conçues pour ingérer et gérer plus de 100 To de données par jour, dont une part majoritaire en temps réel.
Les cas d'usage couverts sont variés, parmi lesquels :
IA pour recommandation des programmes et des offres
Plateforme agentique customer-facing
Gender Equality Monitoring
Feature Store
Modernisation des flux financiers
Content Platform
Mise en place Kubernetes
Plateforme pour le traitement des données CRM et usage
Partager des informations sur les clients à des partenaires
Piloter plus efficacement l'activité des marchés professionnels
Mettre à disposition des applications de data-selfservice
Le consultant aura pour mission de réaliser des développements avancés sur le socle des données Big Data pour la mise en place des usecases IA. Cet environnement Big Data, fortement orienté Streaming et IA, traite quotidiennement plus de 100 To de données.
Le consultant doit maîtriser les architectures de Streaming Data, AWS (notamment Lambda, Batch, Step Function, EMR Serverless, Kinesis Stream, S3, Firehose, DynamoDB, etc.), Airflow, Scala, Spark, SQL, Snowflake, GitLab CI/CD, Terraform.
MissionsConcevoir et développer des pipelines de données performants
Développer en utilisant des outils tels que Scala, DBT et Spark
Implémenter des architectures de Streaming Data robustes
Contribuer activement aux initiatives FinOps
Développer et optimiser des traitements d'intégration de données en streaming
Participer activement à l'évolution continue de la plateforme IA
AWS (Lambda, Step Function, Kinesis Stream, S3, Batch, Firehose, EMR Serverless, DynamoDB)
Scala, Spark, Python
Snowflake, DBT
Airflow
GitLab CI/CD
Terraform
Méthodes Agiles (Scrum, Kanban)
Durée : longue durée
Début : ASAP
Environnement de travail combinant rigueur et ambiance décontractée au sein des équipes
Rejoignez une équipe dynamique où innovation et expertise se rencontrent !
VISIAN est une société de conseil spécialisée autour de l'innovation, la conception produit, le développement et la data.
Dans le cadre de nos projets clients, nous recherchons un Senior Data Engineer Big Data
VISIAN, filiale d'un grand groupe technologique de plus de 6500 personnes, est une société de conseil spécialisée dans l'innovation, la conception de produits et la data. Ses consultants technophiles allient compréhension des enjeux digitaux et vision produit. De la structuration des DSI à la conception de produits digitaux en passant par la valorisation de la data, VISIAN concrétise les objectifs de ses clients en faisant converger ambition et faisabilité. Fondée par des consultants, VISIAN connait une croissance rapide pour atteindre 14 millions de CA cette année et renforce ses partenariats avec de nombreux clients grands-comptes sur Paris et Marseille.