AI Scientist

Description du poste

Vos missions au quotidien

En tant que stagiaire au sein de SocGen AI, vous serez amené à intervenir sur un axe stratégique d’automatisation d’agents : le score de confiance. L’objectif est de garantir la confiance dans les sorties de tous les types d’agents et la mise en œuvre des approches permettant de quantifier l’incertitude dans les systèmes de Generative AI.

Vous aurez comme mission :

• La réalisation d’une analyse (revue théorique) et une exploration expérimentale des approches de construction de scores de confiance adaptées aux modèles génératifs
• L’évaluation et calibration des méthodes:
  • Les méthodes basées sur les log-probabilités fournies par le modèle (logprobas)
  • Les méthodes de type LLM-as-a-judge, où un modèle supplémentaire sert d’évaluateur externe
• La mise en production des solutions retenues, avec l’objectif d’intégrer ces mécanismes de confiance dans des pipelines GenAI déjà existants

• Étudiant en dernière année d’école d’ingénieur ou Université, en master data science ou équivalent
• Maîtrise avancée de Python, pratique d’un framework de deep learning (Pytorch) et de machine learning (scikit learn)
• Maitrise des concepts mathématiques et statistiques utilisés en Datascience, connaissance des mécanismes de LLM
• Fort intérêt en Software et AI Engineering
• Capacité à travailler en équipe, rigueur et autonomie
• Anglais technique courant

• Télétravail possible selon le rythme de votre service
• Prise en charge de 50% de votre titre de transport
• Billetterie à prix réduits de notre Comité d’Entreprise (concerts, cinéma, sport…)
• Offre variée de restaurants d’entreprise et de cafétérias à tarifs compétitifs ainsi que des titres restaurants dématérialisés quand vous êtes en télétravail