Stage de 6 mois à pourvoir sur Brest à partir du 02/03/2026.
État de l'art : Effectuer une revue de la littérature sur les techniques d'estimation de l'incertitude (uncertainty quantification) dans les LLM, en se concentrant sur les méthodes basées sur les probabilités.
Implémentation : Mettre en œuvre plusieurs approches (supervisées et non supervisées) pour calculer un score de fiabilité à partir des logits ou des probabilités des tokens générés.
Expérimentation :
Définir un protocole d'évaluation robuste sur des benchmarks académiques (ex: questions avec réponses correctes/incorrectes connues).
Comparer les performances des méthodes développées par rapport à des baselines (ex: "LLM-as-a-Judge").
Analyse : Analyser l'efficacité des différentes méthodes, leur coût computationnel, et leur capacité à détecter différents types d'erreurs (hallucinations, erreurs factuelles).
Synthèse : Rédiger un rapport technique détaillant les méthodes, les résultats et les recommandations pour une mise en production.
Étudiant(e) en Master 2 ou dernière année d'École d'Ingénieur en Informatique, Data Science, ou Intelligence Artificielle.
Solides compétences en Python et dans un framework de Deep Learning (PyTorch ou TensorFlow).
Bonnes connaissances théoriques en Machine Learning et Deep Learning.
Qualités : Rigueur scientifique, curiosité, autonomie et esprit critique
Stagiaire Assistant IA / DATA - Fiabilité LLM H/F