Que sont les tokens en IA ? L'unité derrière les limites et les prix

Chatbots et API d'IA mesurent tous votre texte avec la même unité, qui n'est pas le mot : le token. Les tokens fixent ce que vous pouvez coller dans une conversation, quand une longue discussion oublie son début, combien coûte un appel d'API et pourquoi une même question coûte parfois plus cher en français qu'en anglais. Ce guide explique ce que sont les tokens en IA, comment le texte est découpé, leur lien avec la fenêtre de contexte et les tarifs, comment les compter et les prompts qui en consomment moins sans dégrader les réponses.

Ce qu'est un token en IA

Un token est le fragment de texte qu'un modèle de langage lit et écrit d'un bloc. Avant que le modèle ne voie votre prompt, un programme appelé tokenizer le découpe et convertit chaque fragment en nombre. Le modèle ne manipule que ces nombres et écrit sa réponse token par token.

Un token peut être un mot entier, un morceau de mot, un signe de ponctuation ou une espace accolée au début d'un mot. Selon la règle empirique très citée d'OpenAI, un token équivaut en anglais à environ quatre caractères, soit trois quarts de mot. Ainsi :

• 100 tokens : environ 75 mots anglais, un court paragraphe.
• 1 000 tokens : environ 750 mots, une page et demie de prose ordinaire.
• 100 000 tokens : environ 75 000 mots, la longueur d'un roman complet.

Ce sont des moyennes. Les mots courants comme « the » ou « because » font en général un token chacun. Mots rares, noms propres, fautes de frappe et longs mots composés se découpent en plusieurs. « Tokenization » lui-même peut donner « Token » et « ization ». Pour le constater, collez un paragraphe dans notre compteur de tokens et comparez tokens et mots.

Comment le texte devient des tokens

La plupart des tokenizers actuels utilisent le byte-pair encoding (BPE). Cette méthode part des caractères isolés, repère les paires les plus fréquentes dans un immense corpus et les fusionne en nouveaux tokens, encore et encore, jusqu'à un vocabulaire de taille fixe. Celui du tokenizer de GPT-4, par exemple, compte environ 100 000 tokens. Les mots fréquents forment un seul token ; les rares sont assemblés à partir de morceaux.

Ce corpus d'entraînement explique la plupart des bizarreries :

• Les autres langues coûtent plus cher : les tokenizers apprennent surtout sur de l'anglais, donc le même sens dans une autre langue demande souvent plus de tokens. Selon une étude de 2023 de Petrov et ses collègues, les traductions d'un même texte peuvent varier jusqu'à un facteur 15 en tokens selon la langue. Les langues européennes coûtent généralement à peine plus ; les langues peu représentées et les écritures non latines s'en sortent moins bien.
• Les nombres et le code se fragmentent : longs nombres, identifiants, dates et horodatages se découpent souvent en morceaux, comme l'indentation, les parenthèses et les noms de variables inhabituels.
• Chaque modèle compte différemment : chaque entreprise a son propre tokenizer, qui change d'une génération à l'autre. Anthropic indique que son tokenizer, à partir de Claude Opus 4.7, produit environ 30 % de tokens de plus pour le même texte que les modèles Claude précédents. Le décompte d'un modèle n'est qu'une estimation pour un autre.

Les tokens expliquent aussi une faiblesse connue. Demandez combien de r contient le mot anglais « strawberry » (trois) : le modèle peut se tromper, car il ne voit jamais les lettres, seulement quelques numéros de tokens. D'où ses difficultés, plus grandes qu'il n'y paraît, avec l'orthographe, le comptage de caractères et les rimes.

Les tokens et la fenêtre de contexte

La fenêtre de contexte est le nombre maximal de tokens qu'un modèle peut traiter en une requête. Elle ne se limite pas à votre dernier message : elle inclut instructions système, conversation entière, fichiers ou images joints, résultats d'outils et réponse en cours d'écriture. Les modèles phares annoncent de quelques centaines de milliers à un million de tokens ou plus ; Anthropic, par exemple, indique une fenêtre de 1 million de tokens pour ses modèles Claude actuels.

Quelques pièges :

• Les applications de chat renvoient toute la conversation : le modèle n'a aucune mémoire d'un tour à l'autre, donc chaque message est retraité avec tous les précédents. Sur 20 tours ajoutant chacun environ 500 tokens, le dernier message transporte quelque 10 000 tokens d'historique, et la conversation entière en traite plus de 100 000.
• Les pièces jointes comptent : un long PDF, un tableur ou une base de code collée peuvent remplir la fenêtre avant votre première question. Les images aussi : selon la documentation de Claude, une image de 1 000 × 1 000 pixels représente environ 1 300 tokens.
• Le raisonnement compte : les modèles qui « réfléchissent » avant de répondre produisent des tokens de raisonnement cachés. Selon OpenAI, ils occupent la fenêtre et sont facturés comme sortie ; l'entreprise conseille de réserver au moins 25 000 tokens au raisonnement et à la sortie pour débuter avec ces modèles.
• Quand la fenêtre est pleine, quelque chose cède : une API rejette un prompt trop long ; les applications de chat suppriment ou résument souvent en silence les anciens messages. D'où ces longues conversations qui ignorent des décisions prises au début.

Une grande fenêtre n'est pas exploitée partout aussi bien. Selon l'article de 2023 « Lost in the Middle », les modèles répondent mieux quand l'information pertinente figure au début ou à la fin d'une longue entrée que lorsqu'elle est enfouie au milieu. La documentation d'Anthropic nomme l'effet plus général context rot : plus le nombre de tokens augmente, plus la précision et le rappel diminuent. Choisir ce qui y entre est tout l'objet de l'ingénierie du contexte.

Comment fonctionne la tarification au token

Les abonnements de chat cachent les tokens derrière des limites d'utilisation, mais toutes les API facturent au token, généralement au million. Quatre postes figurent sur presque toutes les grilles :

• Tokens d'entrée : tout ce que vous envoyez, prompt système et historique compris.
• Tokens de sortie : tout ce que le modèle écrit, tokens de raisonnement compris. La sortie coûte en général plusieurs fois plus cher que l'entrée, car le modèle la génère token par token.
• Entrée en cache : un texte répété en tête de nombreuses requêtes, comme un long prompt système, peut être mis en cache et facturé moins cher. Chez Claude, une lecture en cache coûte un dixième du prix d'entrée normal sur la plupart des modèles.
• Traitement par lots : plusieurs fournisseurs réduisent le prix des requêtes qui n'exigent pas de réponse immédiate et peuvent s'exécuter en quelques heures.

Exemple avec des prix fictifs mais réalistes de 3 $ par million de tokens d'entrée et 15 $ par million de tokens de sortie : un assistant de support avec un prompt système de 2 000 tokens, environ 1 500 d'historique et un message client de 300 envoie 3 800 tokens d'entrée par réponse et en reçoit environ 400. Soit 0,0114 $ pour l'entrée plus 0,006 $ pour la sortie : moins de deux centimes par réponse, environ 174 $ pour 10 000 réponses par mois. Divisez le prompt système par deux et la facture baisse d'environ un sixième ; mettez-le en cache et l'économie est plus forte encore.

Les tokens ne sont pas chers en soi : le coût se loge dans ce que vous répétez (prompts système, historique, documents joints), multiplié par chaque requête.

Comment compter les tokens avant d'envoyer

Un décompte exact n'est utile que près d'une limite, pour chiffrer une automatisation ou comparer des modèles. Les options, de la plus approximative à la plus exacte :

1. La règle empirique : mots × 1,33 pour l'anglais. Suffisant pour savoir « est-ce que ça rentre ? », peu fiable pour le code, les nombres ou les autres langues.
2. Un estimateur : notre compteur de tokens tourne dans votre navigateur, sans envoyer votre texte, et affiche les tokens et le coût estimés pour plusieurs modèles à la fois.
3. L'outil du fournisseur : OpenAI publie une page de tokenizer et sa bibliothèque open source tiktoken ; Anthropic propose un endpoint gratuit de comptage des tokens dans son API ; l'API Gemini de Google a une méthode count-tokens. Ils emploient le vrai tokenizer du modèle.
4. Le rapport d'utilisation : chaque réponse d'API indique les tokens d'entrée et de sortie consommés. En production, journaliser ces chiffres vaut mieux que toute estimation.

Les applications de chat affichent rarement les tokens. Une limite proche se devine : avertissements sur la longueur de la conversation, fichiers tronqués, réponses qui oublient des détails antérieurs.

Des prompts qui économisent des tokens sans perdre en qualité

Réduire les tokens n'a d'intérêt que si les réponses restent bonnes. Les économies les plus sûres viennent de la chasse aux répétitions et du contrôle de la longueur, pas d'un style télégraphique. Le premier prompt condense une discussion tentaculaire en brief à coller dans une nouvelle conversation :

Viennent ensuite les longs prompts système et les modèles réutilisables, que vous payez à chaque requête :

Les tokens de sortie sont les plus chers, et les modèles en font volontiers trop. Précisez la longueur et la forme voulues :

Un doute sur la clarté d'un prompt raccourci ? Passez-le dans notre analyseur de prompts. Les bases d'un bon prompt sont dans notre guide des fondamentaux du prompt engineering.

Comment utiliser moins de tokens

Au-delà des prompts, quelques habitudes comptent le plus :

• Ouvrez une nouvelle discussion par sujet : une conversation par tâche garde un historique court et pertinent.
• Envoyez la partie utile, pas tout le fichier : collez les trois sections pertinentes plutôt que le rapport de 80 pages. Pour de gros fonds documentaires, la recherche documentaire s'en charge automatiquement ; voir ce qu'est le RAG.
• Nettoyez le texte collé : pages web et PDF arrivent avec menus, pieds de page, numéros de page et en-têtes répétés. Les retirer, c'est de la précision gratuite.
• Placez le contenu stable en premier : sur une API, gardez le prompt système et les documents de référence identiques et en tête de chaque requête pour que la mise en cache s'applique.
• Adaptez le modèle à la tâche : les petits modèles coûtent bien moins cher par token et maîtrisent classification, extraction et réécritures courtes. Réservez les grands et les modes de raisonnement aux problèmes qui les exigent.
• Demandez une sortie structurée : un objet JSON ou un court tableau est souvent plus court que des paragraphes, et plus facile à réutiliser.

Les limites à connaître

• Les décomptes varient d'un modèle à l'autre : le même texte donne des nombres différents selon le tokenizer, et même les outils officiels parlent d'estimations. Gardez une marge.
• Une grande fenêtre n'est pas une mémoire parfaite : qu'un document tienne dans le contexte ne garantit pas l'usage de chaque détail. Demandez des citations ou des numéros de page quand la précision compte.
• Moins de tokens n'est pas toujours mieux : couper le contexte nécessaire au modèle, ou exiger des réponses très courtes à des questions complexes, économise des centimes au prix de la qualité. Les tokens de raisonnement, notamment, achètent souvent une vraie précision sur les problèmes ardus.
• Les limites des abonnements ne sont pas un simple calcul de tokens : les applications fixent leurs propres plafonds, variables selon l'offre, le modèle et la demande, et pas toujours exprimés en tokens. Longues discussions et gros fichiers les épuisent tout de même plus vite.
• Prix et limites changent souvent : fenêtres de contexte, tarifs et tokenizers ont changé plusieurs fois par an. Consultez la page tarifaire actuelle du fournisseur avant de budgéter et prenez tout chiffre d'article, celui-ci compris, comme un point de départ.
• Les tokens ne mesurent pas la vérité : une réponse fluide, bien présentée et exactement de la longueur demandée peut être fausse. Les limites de tokens et les hallucinations de l'IA sont deux problèmes distincts.

Penser en tokens explique bien des bizarreries de l'IA : la discussion qui oublie, la facture qui gonfle à chaque fonctionnalité, la réponse étonnamment mauvaise en orthographe. Inutile de les compter chaque jour, mais savoir où ils partent aide à écrire des prompts qui tiennent dans la fenêtre, coûtent moins et placent l'essentiel là où le modèle le verra vraiment.

Références

• Anthropic — Fenêtres de contexte (documentation de Claude)
• Liu et al. — Lost in the Middle: How Language Models Use Long Contexts (2023, en anglais)
• Wikipédia — Byte pair encoding