Python Software Engineer SeniorLe projet
Le client (finance) utilise AWS depuis quelques années, d’abord sur une stack HPC (librairie permettant de distribuer sur AWS Batch l’exécution d’un DAG), puis avec une stack SageMaker (expérience interactive via l’utilisation de Studio JupyterLab / MLFlow).
Ce projet, comme les précédents, prend la forme d’un MAP (Migration Acceleration Program), approche structurée par AWS (Assess - Mobilize - Migrate). La phase Assess a identifié une typologie d’usages (embarassingly parallel map, cross-partition shuffling / window-heavy computation, dataset-level summaries, ML/tensor-preparation, interactive exploration) et 3 technologies-clés : 1) Ray/Daft 2) Spark (via EMR) et 3) Iceberg, comme couche de stockage/accès aux données.
La phase de Mobilize doit permettre :
● De valider la capacité de ces outils à adresser les enjeux de feature engineering avec les contraintes ci-dessus exprimées, et une expérience chercheur aussi aisée que possible.
● D’envisager leur exploitation dans un mode “plateforme” / industrialisé ; les aspect self-service, observabilité technique et finops, sont clés. Exprimée aujourd’hui comme un side-topic, l’exploitation unifiée des technologies ci-dessus sur un socle Kubernetes (sur EKS) pourrait devenir un sujet central de la phase Mobilize.
Cette phase de mobilize doit durer 7 mois et sera réalisée par une équipe de 3 personnes:
Un software engineer (vous), un devOps et un data Engineer.
Compétences techniques
-> Très bon niveau en python & capacité à expliciter explicites la vision d’ensemble de ses projets, les enjeux, les options techniques et les arbitrages ;
-> Avoir travaillé sur des enjeux de traitements distribués & de graph
-> Maitrise du cloud AWS (services EMR, S3, Daft serait un plus) et notamment des aspects IAM
-> Anglais courant obligatoire
Localisation
Paris, présence sur site obligatoire à minima 3j/semaine
Senior Python Software Engineer
-> Très bon niveau en python & capacité à expliciter explicites la vision d’ensemble de ses projets, les enjeux, les options techniques et les arbitrages ;
-> Avoir travaillé sur des enjeux de traitements distribués & de graph
-> Maitrise du cloud AWS (services EMR, S3, Daft serait un plus) et notamment des aspects IAM
-> Anglais courant obligatoire
ANEO est un cabinet indépendant, spécialisé dans le conseil en Organisation et Technologies. Fortement implanté dans les secteurs Banque & Finance, Assurance & Santé, Industrie & Service, nous intervenons sur des missions de transformations et d’apport d’expertise.