Dashboard

Leçon 2 — Comment fonctionnent les LLM ?

🎯 Objectifs de la leçon

•       Comprendre ce qu’est un modèle de langage (LLM)

•       Savoir comment une IA génère une réponse

•       Démystifier les concepts de tokens, température et contexte

 

Notion de modèles de langage (LLM)

Les IA conversationnelles modernes comme ChatGPT sont basées sur des Large Language Models (LLM) — des modèles de langage de grande taille. Ces modèles ont été entraînés sur des milliards de textes provenant d’internet, de livres, de code source, etc.

Le principe est simple : le modèle a appris à prédire quel mot (ou quel token) vient le plus probablement après une séquence de mots donnée. En répétant ce processus des milliers de fois, il génère des textes cohérents, pertinents et utiles.

 

Comment une IA génère une réponse

Voici les étapes simplifiées de ce qui se passe quand vous envoyez un message à ChatGPT ou à l’API :

  1. Votre texte (le prompt) est découpé en tokens (unités de texte, souvent des morceaux de mots).
  2. Ces tokens sont transformés en vecteurs numériques que le modèle peut traiter.
  3. Le modèle calcule, token par token, quel est le prochain token le plus probable.
  4. La réponse est construite token par token jusqu’à former une phrase ou un paragraphe complet.

 

Concepts clés à retenir

Concept

Explication

Token

Une unité de texte (environ 3/4 d’un mot en anglais). L’API facture à la consommation de tokens.

Contexte (context window)

La quantité de texte que l’IA peut « voir » à la fois pour générer sa réponse. Plus c’est grand, mieux c’est.

Température

Paramètre qui contrôle la créativité. Proche de 0 = réponses déterministes. Proche de 1 = plus créatif et aléatoire.

Hallucination

Quand l’IA invente des informations plausibles mais fausses. C’est un point de vigilance important.

💡 Note : Un LLM n’a pas de conscience, ne comprend pas au sens humain du terme. Il est extrêmement efficace pour générer du texte utile, mais il peut se tromper. Vérifiez toujours les informations critiques.