Historique et environnement des sociétés de l'IA

Les Transformers et le Machine Learning

Une forme de machine Learning : le Deep Learning données -> Machine Learning (paramètres) -> prédiction

Exemple de machine Machine Learning : estimation du prix de vente d'un bien immobilier. On donne les caractéristiques d'un bien immobilier -> machine Machine Learning -> prix. Si le prix n'est pas correct, on change les paramètres jusqu'à ce que le prix soit correct. En réalisant des millions de test, les résultats s'affinent jusqu'à des erreurs très faibles

Le Deep Learning ?

Plutôt que d'utiliser des paramètres, nous utilisons des réseaux de neurones où les neurones sont réparties en couche, permettant de regrouper des paramètres dont la valeur peut ou non être transmise. La différence entre le Machine Learning et le Deep Learning : avec le Deep Learning, on ne connait pas en avance les paramètres. Avec le Deep Learning moderne, les différentes couches vont s'organiser par elles-mêmes et elles vont évaluer des informations qu'on ne peut connaître à l'avance. Avec le calcul de l'attention (cf : chapitre précédent) : on a un ensemble de tokens et chaque token va évaluer l'attention des autres tokens sur lui-même. => A reprendre : 7 min 45 Il faut mémoriser les résultats des calculs et cela va prendre beaucoup de place de stockage. Dans es algo modernes de LLM : - Une centaine de couches de neurones - Des milliers de neurones par couches - Sur ces milliers de neurones, on va manipuler des vecteurs de dizaine de milliers de dimensions Conclusion : on doit mémoriser des centaines de milliards de paramètres, nécessitant beaucoup de capacité de calcul. Data : Qualité, Quantité, Droits sur les données, Gouvernance (règles sur la gestion de la donné), sécurité.

2010 : DeepMind - Apprentissage par renforcement. Système de récompenses et de punitions. Jeux vidéos. AlphaGo : battre les meilleurs joueurs. Racheté par Google.

Les LLMs

2015 : OpenAI GPT 1 : 117 millions de paramètres, 12 blocs Transformer, 768 dimensions GPT 3 : 175 milliards de paramètres, 96 blocs Transformer, 12 288 dimensions 2022 : sortie de ChatGPT, produit d'un LLM (GPT 3.5)

Anthropic

2023 : MISTRAL AI (Européen). Plus ancré dans le B2B que B2C.

Google : Gemini - modèles nativement multimodales. Comme ils ont Google Cloud, Google a des possibilités pour les possibilités de calcul

Meta : modèles LLAMA

Acteurs chinois : deepseek, alibaba, shipu-ai, qwen, minimax

A revoir : => Notion de modèles Open Weights