Du modèle de langage au cycle de vie des LLM

Introduction

2022 : arrivée en ChatGPT

La révolution : modèle capable de raisonner - Modèle o1.

Du modèle au produit.

Etape 1 : préparation

Corpus à utiliser pour le modèle (corpus : ensemble des données à utiliser pour l'entrainement du modèle). Contenu dans toutes les langues et dans tous les domaines.

Etape 2 : étape de tokenisation

Transformation des mots en tokens

Etape 3 : pré-entrainement

Gestion de l'Attention. Phase de plusieurs semaines à plusieurs mois. Très coûteuse.

A ce stade : maîtrise sémantique et syntaxique

Le modèle n'a aucune notion de vérité. Toute ce qu'il a annonce est probable mais pas vrai à 100% Important du corpus : les données ont intérêt à être fiable

Etape 4 : Supervised Fine-Tuning

Donner des informations sur les données / la manière de traiter les données au modèle Questions => réponses Comparer la réponse générée par le modèle par rapport à la réponse attendue Evaluer la perte si les réponses sont différentes Modifier le réseau de neurones afin qu'il s'améliore au fil du temps => Le modèles est orienté Etape de plusieurs jours à plusieurs semaines

Etape 5 : RLHF - Reinforcement Learning from Human Feedback

Renforcement de l'apprentissage du modèle par un feedback humain Deux parties : - Partie 1 : récompense si bonne réponse ou sanction si mauvaise réponse - Obtenir deux réponses et un humain donne la réponse qu'il préfère - Système de récompenses issu du Machine Learning : prédire la réponse qui va générer plus de récompenses - Partie 2 : ? 15 min 00

Etape 6 : Inférence

Modèle finalisé et exploitable par le public

Question -> pré-traitement -> modèle -> post-traitement (comportement / intension - filtrage) -> réponse