Thales : Évaluation et explication des LLM (Large Language Model) : comment transférer le jugement d’experts dans un LLM évaluateur

Les architectures et techniques d’apprentissage qui ont mené à la création des Large Language Models (LLM)
sont la cause de leur succès et de leurs défauts. En effet, ils sont surprenamment performants, apprenants et
faciles à utiliser, mais leurs erreurs sont très difficiles à expliquer et contrôler. Étant donné que le développement
actuel et futur des modèles de fondations est hors de notre contrôle, il faut les voir comme des boîtes noires dont
la sortie doit alors être validée et expliquée. Ce faisant, Thales favorisera l’adoption de cette technologie dans
des domaines critiques qui pourront alors bénéficier de ses bienfaits.
Ce stage aura pour objectif le développement de modèles de LLM spécialisés par fine-tuning sur des tâches
d’évaluation et explication en référence à des métriques telles que la pertinence contextuelle.
Ce stage vise le développement de techniques de génération de données exploitant: l’apprentissage de prompt;
l’évaluation par des modèles experts; le feedback d’évaluateurs experts; et les explications de la chaîne de
raisonnement du LLM.

Faculty Supervisor:

Christian Gagné;Luc Lamontagne

Student:

Partner:

Thales Canada Inc (Montreal, QC)

Discipline:

Computer science

Sector:

Management of companies and enterprises; Manufacturing; Professional, scientific and technical services

University:

Université Laval

Program: