Qu'est-ce qu'un LLM ? Comment fonctionnent vraiment les grands modèles de langage

ChatGPT, Claude, Gemini et Copilot semblent être des produits différents, mais tous reposent sur la même technologie : un grand modèle de langage, ou LLM (de l'anglais « large language model »). Comprendre ce qu'est ce modèle, et ce qu'il n'est pas, explique l'essentiel de leurs réussites et de leurs ratés. Ce guide explique ce qu'est un LLM, comment il transforme votre prompt en réponse et est entraîné, ses principaux types, comment le choisir et les prompts qui en tirent le meilleur.

Ce qu'est un LLM

Un grand modèle de langage est un réseau de neurones entraîné sur d'énormes volumes de texte pour une seule tâche : prédire le fragment de texte suivant. Donnez-lui le début d'une phrase et il estime les suites probables. Répétez l'étape des milliers de fois et voilà un e-mail, un résumé, une traduction ou une fonction opérationnelle.

« Grand » désigne deux choses. D'abord les données d'entraînement, soit pour les modèles actuels des milliers de milliards de mots : pages web, livres, code, etc. Meta indique par exemple avoir entraîné ses modèles Llama 3 sur plus de 15 000 milliards de tokens. Ensuite le nombre de paramètres : les valeurs internes, ajustées pendant l'entraînement, qui stockent ce que le modèle a appris. GPT-2 comptait 1,5 milliard de paramètres en 2019 ; GPT-3, 175 milliards un an plus tard. Beaucoup d'entreprises taisent ce chiffre pour leurs modèles phares, mais les modèles ouverts diffusés avec leurs poids vont d'environ un milliard à plusieurs centaines de milliards de paramètres.

Les LLM sont la branche de l'IA générative qui traite le langage. Parmi les familles connues : GPT d'OpenAI, Claude d'Anthropic, Gemini de Google, Llama de Meta et les modèles de Mistral, d'Alibaba (Qwen) et de DeepSeek.

Comment fonctionne un LLM : prédire le token suivant

Un LLM ne lit ni lettres ni mots. Un tokenizer découpe votre texte en tokens, souvent un mot entier, parfois un morceau de mot, puis convertit chacun en nombre. Notre guide des tokens en IA détaille cette étape.

La réponse se construit ensuite en boucle :

1. Lire le contexte : le modèle lit chaque token de l'entrée : instructions système, conversation jusque-là et dernier message.
2. Noter chaque option : il attribue une probabilité à chaque token de son vocabulaire, en général des dizaines de milliers de candidats ou plus.
3. En choisir un : il retient un token, souvent probable, mais pas forcément le plus probable. Un réglage appelé température fixe l'audace de ce choix.
4. Recommencer : le token choisi rejoint le contexte et le modèle prédit le suivant, jusqu'à la fin de la réponse.

L'architecture qui a permis cela à grande échelle est le transformer, présenté par des chercheurs de Google dans l'article de 2017 « Attention Is All You Need ». Son idée clé est l'attention : pour chaque token, le modèle pèse la pertinence de tous les autres tokens du contexte. C'est ainsi qu'il comprend que, dans « le trophée ne rentrait pas dans le sac parce qu'il était trop petit », « il » désigne le sac, et qu'il suit des instructions données 2 000 mots plus tôt.

Trois conséquences pratiques :

• Le même prompt peut donner des réponses différentes, car chaque token est choisi avec une part de hasard. Si c'est important, demandez deux fois et comparez.
• Le modèle ne connaît que ses poids et son contexte. Il ne consulte aucune base de données, sauf si l'application lui ajoute un outil de recherche.
• Il vise le plausible, pas le vrai. Le plus souvent, les deux coïncident ; sinon, c'est l'erreur énoncée avec aplomb.

Comment les LLM sont entraînés

Un assistant moderne passe par plusieurs étapes d'entraînement, chacune façonnant son comportement.

• Pré-entraînement : le modèle lit un vaste corpus et apprend à prédire le token suivant, encore et encore, en ajustant ses paramètres à chaque erreur. Il y acquiert grammaire, faits, styles, schémas de code et un peu de raisonnement. C'est aussi l'étape la plus chère : des semaines ou des mois sur des milliers de puces spécialisées. Le résultat est un modèle de base : il prolonge bien un texte mais suit mal les instructions. Posez-lui une question et il peut répondre par trois autres, suite plausible oblige.
• Ajustement aux instructions : le modèle de base est ensuite entraîné sur des exemples de demandes associées à de bonnes réponses, pour jouer l'assistant : répondre à la question, respecter le format, s'arrêter une fois fini.
• Apprentissage par retours : des personnes (et de plus en plus d'autres modèles) classent plusieurs réponses, et le modèle apprend à préférer les meilleures. C'est l'apprentissage par renforcement à partir de retours humains (RLHF, « reinforcement learning from human feedback »). Dans l'article InstructGPT d'OpenAI (2022), on préférait les réponses d'un modèle de 1,3 milliard de paramètres entraîné ainsi à celles de GPT-3 et de ses 175 milliards, preuve de l'importance de cette étape.
• Entraînement au raisonnement : les modèles récents apprennent aussi à raisonner étape par étape avant de répondre, récompensés quand ils obtiennent des résultats corrects et vérifiables, en maths ou en code par exemple.

Conséquence de tout cela : la date limite des connaissances. Le pré-entraînement s'arrête aux données d'une certaine date, et le modèle ignore la suite, sauf si l'application lui donne la recherche ou si vous collez l'information.

LLM, chatbots et IA générative : la différence

Ces termes sont souvent confondus, mais ce sont des couches d'un même ensemble :

• L'IA générative est la grande catégorie : toute IA qui crée texte, images, son, vidéo ou code.
• Un LLM est le moteur du langage : un modèle qui reçoit du texte et en produit. Beaucoup acceptent aussi images, audio ou fichiers ; on parle alors souvent de modèles multimodaux.
• Un chatbot ou assistant est le produit bâti autour du modèle. ChatGPT est une application ; les modèles GPT tournent à l'intérieur.

Le produit ajoute bien des choses attribuées à « l'IA » : un prompt système caché qui fixe ton et règles, recherche web, envoi de fichiers, exécution de code, mémoire entre conversations et filtres de sécurité. D'où un même modèle qui se comporte différemment selon l'application, et un assistant qui cite l'actualité du jour alors que son modèle s'arrête des mois plus tôt. Doté d'outils et libre d'agir en plusieurs étapes, un LLM devient un agent IA.

Les types de LLM que vous croiserez

Les LLM se classent selon quatre axes, et la position d'un modèle en dit long sur son usage.

• Fermés ou à poids ouverts : les modèles fermés (GPT, Claude, Gemini) ne s'utilisent que via les applications et l'API de l'entreprise. Les modèles à poids ouverts (Llama, Mistral, Qwen, DeepSeek, etc.) publient leurs paramètres : chacun peut les télécharger, les exécuter et les affiner, selon leur licence. Les poids ouverts offrent confidentialité et contrôle ; les modèles fermés mènent souvent sur les tâches les plus dures, sans installation.
• Grands ou petits : les modèles de pointe sont les plus performants et les plus chers au token. Les petits, d'un à quelques milliards de paramètres, tournent sur un portable ou un téléphone et gèrent bien classification, extraction et réécritures courtes. Les fournisseurs vendent souvent plusieurs tailles d'une même famille.
• Standard ou de raisonnement : les modèles de raisonnement dépensent des tokens en plus à « réfléchir » avant de répondre. Plus lents et plus chers, ils sont nettement meilleurs en maths, logique, planification et débogage. Pour une réécriture rapide, ils apportent peu.
• Texte seul ou multimodal : les modèles multimodaux lisent images, captures d'écran, graphiques et parfois audio en plus du texte. On peut ainsi photographier un formulaire ou un tableau blanc et l'interroger.

Certains grands modèles reposent sur un mélange d'experts (« mixture of experts »), où seule une partie du réseau s'active pour chaque token. DeepSeek-V3, par exemple, compte 671 milliards de paramètres au total mais en utilise environ 37 milliards par token, d'où un coût d'exécution bien inférieur à ce que suggère sa taille.

Ce que les LLM font bien, et les prompts qui aident

Les LLM excellent pour transformer un texte vérifiable : rédiger, résumer, réécrire pour un autre public, traduire, extraire des données structurées d'un texte désordonné, expliquer une notion au niveau voulu, trouver des idées, écrire ou relire du code. Ils faiblissent quand ils doivent tirer des faits de leur mémoire, sans source à vérifier.

Le plus fiable est donc de fournir le contenu au modèle et de le faire travailler dessus, plutôt que sur sa mémoire :

Comme le modèle génère sa réponse token par token, lui faire exposer sa démarche avant la réponse finale aide souvent sur les problèmes à étapes. C'est le principe du prompting par chaîne de pensée, qui rend aussi les erreurs plus visibles :

Les LLM réagissent aussi bien aux exemples. Pour un style ou un format précis, montrez-en un au lieu de le décrire :

Pour ne pas partir de zéro, notre générateur de prompts IA en construit une version structurée à partir d'une description de votre besoin en une ligne.

Comment choisir un LLM pour une tâche

Les classements changent chaque mois et reflètent rarement votre travail. Un court test sur vos tâches vaut mieux que tout palmarès. Passez en revue ces questions :

1. Quelle est la tâche ? Rédaction et analyse, code, maths, images ou traitement en volume favorisent des modèles différents. Les modèles de raisonnement conviennent aux problèmes difficiles ; les petits modèles rapides, aux tâches répétitives.
2. Où vont vos données ? Pour des contenus confidentiels, vérifiez si le fournisseur s'entraîne sur vos données et ce que permet votre offre. Offres professionnelles et API ont en général des conditions plus strictes ; un modèle à poids ouverts sur votre propre matériel garde les données entièrement en interne.
3. Quelle quantité d'entrée vous faut-il ? Longs rapports et bases de code exigent une grande fenêtre de contexte, mesurée en tokens.
4. Combien coûte-t-il à votre volume ? Pour une API, estimez une requête type et multipliez. Pour un abonnement, regardez les limites d'utilisation, pas seulement le prix.
5. Faut-il des informations à jour ? Si oui, choisissez une application avec recherche web ou reliez le modèle à vos documents grâce au RAG.

Soumettez ensuite trois ou quatre prompts réels à deux ou trois candidats et comparez. Notre comparatif ChatGPT vs Claude vs Gemini est un bon point de départ pour les principaux assistants.

Ce que les LLM ne savent pas faire

• Garantir les faits : un LLM génère du texte plausible, il peut donc inventer sources, chiffres et citations avec une assurance totale. Ces hallucinations de l'IA peuvent être réduites, pas éliminées. Vérifiez tout ce qui compte.
• Connaître seul l'actualité : sans recherche ni sources collées, il ne connaît que ses données d'entraînement jusqu'à la date limite, qu'il peut d'ailleurs ignorer.
• Se souvenir de vous d'une session à l'autre : le modèle n'a pas de mémoire. Les applications de chat la simulent en renvoyant la conversation ou en stockant des notes ; ce qui sort de la fenêtre de contexte est perdu.
• Compter et épeler de façon fiable : voyant des tokens et non des lettres, il se trompe souvent un peu en comptant des caractères ou en visant un nombre exact de mots. Si l'application le permet, demandez-lui d'écrire et d'exécuter du code pour compter précisément.
• Être neutre par défaut : il a appris de textes humains, avec leurs biais et leurs lacunes, et son entraînement par retours reflète les choix de l'entreprise qui l'a conçu.
• S'expliquer fidèlement : quand un modèle décrit son raisonnement, cette description est elle aussi du texte généré. Utile pour repérer les erreurs, elle ne montre pas fidèlement comment la réponse a été produite.
• Remplacer le jugement professionnel : pour les décisions médicales, juridiques, financières ou de sécurité, servez-vous-en pour préparer questions et brouillons, puis fiez-vous à une personne qualifiée et à des sources primaires.

Voyez un LLM comme un prédicteur de texte très cultivé, entraîné à être utile : rapide, souple et souvent impressionnant, mais sans aucun sens inné du vrai. Donnez-lui le bon contexte, demandez-lui son raisonnement, vérifiez ce qu'il dit, et il devient l'un de vos outils les plus utiles.

Références

• Wikipedia — Grand modèle de langage
• Vaswani et al. — Attention Is All You Need (2017)
• Ouyang et al. — Training language models to follow instructions with human feedback (2022)