Comment fonctionne un modèle de langage, expliqué sans mathématiques

Comprendre comment fonctionne un LLM, c'est-à-dire un grand modèle de langage, ne demande aucune mathématique. Cela demande d'accepter une idée un peu déroutante : ces systèmes ne comprennent pas vos phrases au sens où vous l'entendez, ils prédisent ce qui vient après. Tout le reste, y compris leurs qualités et leurs défauts, découle de cette mécanique.

L'enjeu n'est pas la curiosité intellectuelle. Chaque mécanisme interne se traduit par une conséquence pratique que vous constatez tous les jours : pourquoi le modèle invente une référence avec aplomb, pourquoi votre facture grimpe quand vous collez un long document, pourquoi il ignore ce qui s'est passé la semaine dernière, pourquoi il change d'avis si vous insistez.

Nous allons donc suivre le chemin d'une phrase, du texte que vous tapez à la réponse qui s'affiche, en nous arrêtant sur quatre étapes : la découpe en tokens, la prédiction, l'entraînement, et l'alignement. À chaque étape, la conséquence concrète.

Comment fonctionne un LLM : prédire le mot suivant, encore et encore

Un modèle de langage fait une seule chose : étant donné un texte, il calcule quelle suite est la plus probable, en choisit une, l'ajoute au texte, et recommence. Une réponse de dix lignes est produite morceau par morceau, chaque morceau tenant compte de tous les précédents.

Deux conséquences immédiates. D'abord, le modèle ne sait pas où il va quand il commence sa phrase : il n'a pas de plan, il a une trajectoire. Ensuite, la génération est séquentielle, ce qui explique que les réponses longues arrivent lentement et coûtent plus cher que les courtes.

Cette probabilité n'est pas une certitude. À chaque étape, plusieurs suites sont plausibles et le système en tire une. C'est la raison pour laquelle deux exécutions de la même demande ne donnent pas le même texte, et pourquoi il ne faut jamais bâtir un processus qui exige un résultat identique à la virgule près.

Les tokens : ce que le modèle voit à la place de vos mots

Le modèle ne manipule pas des mots mais des tokens : des fragments de texte, entre un caractère et un mot entier. En français, comptez très grossièrement trois à quatre caractères par token. Un mot courant tient en un token, un mot rare ou très long en plusieurs, et les accents comme la ponctuation consomment leur part.

Trois conséquences que vous constaterez.

• Vous payez au token, en entrée comme en sortie. Coller un rapport de 40 pages dans une demande n'est pas gratuit, et le refaire à chaque question multiplie la dépense.
• La fenêtre de contexte est finie. C'est le nombre maximal de tokens que le modèle peut avoir sous les yeux en une fois. Au-delà, il faut découper, résumer ou aller chercher les bons extraits.
• Le modèle compte mal les lettres. Demander combien de fois la lettre « r » apparaît dans un mot est une question sur des caractères posée à un système qui voit des fragments. L'erreur n'est pas de la bêtise, c'est un problème de représentation.

Cette découpe explique aussi pourquoi les modèles se débrouillent parfois moins bien en français que sur l'anglais : la découpe est en moyenne moins économe, donc plus de tokens pour dire la même chose.

L'entraînement, en trois temps

Un modèle de langage se construit en plusieurs phases, et confondre ces phases entretient la plupart des malentendus.

1. Le pré-entraînement. Le système lit une quantité massive de texte et apprend à prédire la suite. Il en ressort une connaissance statistique très large de la langue, des faits et des styles. C'est la phase longue et coûteuse, réalisée à une date donnée, et cette date fige ce que le modèle a lu.
2. L'ajustement supervisé. On lui montre des exemples de bonnes réponses à des instructions. Le modèle apprend à répondre plutôt qu'à continuer votre texte. C'est ce qui transforme un moteur de complétion en assistant.
3. L'alignement. Des préférences humaines départagent des réponses concurrentes, et le modèle apprend à produire ce que les évaluateurs préfèrent : réponses utiles, polies, prudentes sur les sujets sensibles.

La troisième phase mérite une attention particulière, parce qu'elle a un effet secondaire connu. En apprenant à produire ce que les gens préfèrent lire, le modèle apprend aussi à être agréable. D'où sa tendance à vous donner raison quand vous contestez une réponse correcte. C'est l'une des causes des hallucinations de l'IA générative, et sans doute la plus contre-intuitive.

Chaque mécanisme, sa conséquence pratique

Trois idées fausses qui circulent

« Le modèle apprend de mes conversations. » Dans le cas général, non : un modèle déployé ne se modifie pas quand vous discutez avec lui. Ce qui peut arriver, c'est que vos échanges soient conservés par le fournisseur et éventuellement réutilisés plus tard pour construire des jeux d'entraînement, ce qui est une question contractuelle et non une propriété du modèle. Vérifiez les conditions de l'offre professionnelle que vous utilisez, l'écart avec l'offre grand public porte souvent exactement là-dessus.

« Plus le modèle est gros, meilleur il est. » La taille améliore la culture générale et la capacité à traiter des demandes complexes. Sur une tâche étroite et bien définie, un modèle plus petit et moins cher fait souvent aussi bien, avec une latence nettement inférieure. Le bon réflexe est de tester le plus petit modèle acceptable avant de payer pour le plus gros.

« Il raisonne. » Le mot est commode mais trompeur. Ce que l'on observe, c'est que produire des étapes intermédiaires de texte améliore la qualité des réponses sur les problèmes en plusieurs temps. Le modèle ne vérifie pas ses étapes, il les rend plus probables les unes après les autres. Une démonstration écrite pas à pas peut donc être fausse d'un bout à l'autre tout en étant parfaitement présentable.

Ce que ça change dans votre façon de l'utiliser

Quatre réflexes découlent directement de ce qui précède, et ils valent tous les guides de formules toutes faites.

• Fournissez le contexte plutôt que d'espérer qu'il le connaisse. Un modèle n'a jamais lu vos procédures internes. Collez l'extrait pertinent, ou branchez une recherche documentaire dessus.
• Traitez la réponse comme un brouillon d'expert pressé. Bonne structure, formulation sûre, détails à vérifier.
• Soyez explicite sur le format attendu. Le modèle optimise la vraisemblance, pas votre gabarit implicite.
• Découpez les tâches longues. Une demande en cinq étapes distinctes donne de meilleurs résultats qu'une consigne massive.

Deux prolongements naturels. Pour comprendre comment un système retrouve les bons extraits dans vos documents, il faut passer par la représentation vectorielle du sens, que nous détaillons dans notre article sur les embeddings et la vectorisation. Et pour voir ce que devient un modèle quand on lui donne des outils et une boucle de décision, lisez ce qu'est un agent IA.

Retenez surtout ceci : savoir comment fonctionne un LLM ne sert pas à en parler savamment, mais à ne plus être surpris. Un système qui prédit du texte plausible produira toujours du texte plausible, y compris quand il a tort. Votre travail consiste à organiser la vérification, pas à espérer que le modèle s'en charge.