Was sind KI-Tokens? Die Einheit hinter KI-Limits und -Preisen

Jeder KI-Chatbot und jede API misst deinen Text in derselben Einheit, und das sind keine Wörter, sondern Tokens. Sie entscheiden, wie viel du in ein einziges Gespräch einfügen kannst, ab wann ein langer Chat seinen Anfang vergisst, was ein API-Aufruf kostet und warum dieselbe Frage auf Deutsch mehr kosten kann als auf Englisch. Dieser Ratgeber erklärt, was KI-Tokens sind, wie Text in sie zerlegt wird, wie sie mit Kontextfenstern und Preisen zusammenhängen, wie du sie zählst und mit welchen Prompts du weniger davon verbrauchst, ohne dass die Antworten schlechter werden.

Was ein KI-Token ist

Ein Token ist das Textstück, das ein Sprachmodell als eine Einheit liest und schreibt. Bevor ein Modell deinen Prompt überhaupt sieht, zerlegt ein Programm namens Tokenizer ihn in solche Stücke und verwandelt jedes davon in eine Zahl. Das Modell arbeitet ausschließlich mit diesen Zahlen, und es schreibt seine Antwort Token für Token.

Ein Token kann ein ganzes Wort sein, ein Teil eines Wortes, ein Satzzeichen oder ein Leerzeichen, das am Anfang eines Wortes hängt. Die oft zitierte Faustregel von OpenAI für Englisch lautet: Ein Token entspricht etwa vier Zeichen oder ungefähr drei Vierteln eines Wortes. Das heißt:

• 100 Tokens – etwa 75 englische Wörter, also ein kurzer Absatz.
• 1.000 Tokens – etwa 750 Wörter, also anderthalb Seiten gewöhnlicher Fließtext.
• 100.000 Tokens – etwa 75.000 Wörter, so lang wie ein ganzer Roman.

Das sind Durchschnittswerte, keine Regeln. Häufige Wörter wie „the“ oder „because“ sind meist jeweils ein einziges Token. Seltene Wörter, Namen, Tippfehler und lange Komposita werden in mehrere Stücke zerlegt. Selbst „Tokenization“ kann als „Token“ und „ization“ herauskommen. Willst du es selbst sehen, statt es zu glauben, füg einen Absatz in unseren Token-Zähler ein und vergleich die Zahl der Tokens mit der Zahl der Wörter.

Wie aus Text Tokens werden

Die meisten aktuellen Tokenizer nutzen ein Verfahren namens Byte Pair Encoding (BPE). Es beginnt mit einzelnen Zeichen, sucht in einer riesigen Textsammlung die Paare, die am häufigsten nebeneinander vorkommen, und verschmilzt sie zu neuen Tokens, immer wieder, bis das Vokabular eine feste Größe erreicht hat. Der Tokenizer von GPT-4 zum Beispiel hat ein Vokabular von rund 100.000 Tokens. Häufige Wörter landen am Ende als ein einziges Token, seltene werden aus Einzelteilen zusammengesetzt.

Diese Trainingsdaten erklären die meisten Eigenheiten:

• Andere Sprachen kosten mehr – Tokenizer lernen überwiegend aus englischen Texten, deshalb braucht derselbe Inhalt in anderen Sprachen tendenziell mehr Tokens. Eine Studie von Petrov und Kollegen aus dem Jahr 2023 ergab, dass Übersetzungen desselben Textes je nach Sprache bis zu 15-mal so viele Tokens haben können. Europäische Sprachen wie Deutsch sind meist nur mäßig teurer; schlechter schneiden Sprachen mit weniger Trainingstext und nicht lateinischen Schriften ab.
• Zahlen und Code zerfallen in Stücke – lange Zahlen, IDs, Datumsangaben und Zeitstempel werden oft in mehrere Teile zerlegt, ebenso Einrückungen, Klammern und ungewöhnliche Variablennamen im Code.
• Jedes Modell zählt anders – jedes Unternehmen trainiert seinen eigenen Tokenizer, und die ändern sich von Generation zu Generation. Anthropic weist darauf hin, dass sein Tokenizer ab Claude Opus 4.7 für denselben Text rund 30 % mehr Tokens erzeugt als frühere Claude-Modelle. Eine Zählung von einem Modell ist für ein anderes also nur eine Schätzung.

Tokens erklären auch eine berühmte Schwäche. Frag ein Modell, wie viele „r“ im englischen Wort „strawberry“ (Erdbeere) stecken, und es liegt womöglich daneben, obwohl es drei sind. Der Grund: Es sieht nie die Buchstaben, sondern nur ein paar Token-Zahlen. Aus demselben Grund fallen Modellen Rechtschreibung, das Zählen von Zeichen und Reime schwerer, als man denkt.

Tokens und das Kontextfenster

Das Kontextfenster ist die maximale Zahl an Tokens, mit der ein Modell in einer einzigen Anfrage arbeiten kann. Dazu gehört nicht nur deine letzte Nachricht. Es umfasst die Systemanweisungen, das gesamte bisherige Gespräch, alle angehängten Dateien oder Bilder, sämtliche Tool-Ergebnisse und die Antwort, die das Modell gerade schreibt. Aktuelle Spitzenmodelle werben mit Kontextfenstern von einigen Hunderttausend bis zu einer Million Tokens und mehr; Anthropic etwa nennt für seine aktuellen Claude-Modelle ein Kontextfenster von 1 Million Tokens.

Ein paar Dinge überraschen viele:

• Chat-Apps schicken das ganze Gespräch jedes Mal neu – das Modell hat zwischen zwei Runden kein Gedächtnis, also wird jede neue Nachricht zusammen mit allen früheren verarbeitet. In einem Chat mit 20 Runden, in dem jeder Austausch etwa 500 Tokens hinzufügt, trägt die letzte Nachricht rund 10.000 Tokens Verlauf mit sich, und das Gespräch insgesamt verarbeitet mehr als 100.000.
• Anhänge zählen mit – ein langes PDF, eine Tabelle oder eine eingefügte Codebasis kann den Großteil des Fensters füllen, bevor du überhaupt eine Frage gestellt hast. Auch Bilder bestehen aus Tokens: Laut der Claude-Dokumentation kommt ein Bild mit 1.000 × 1.000 Pixeln auf etwa 1.300 Tokens.
• Reasoning zählt mit – Modelle, die vor der Antwort „nachdenken“, erzeugen versteckte Reasoning-Tokens. Laut OpenAI belegen sie Platz im Kontextfenster und werden als Output abgerechnet; das Unternehmen empfiehlt, zu Beginn mindestens 25.000 Tokens für Reasoning und Output einzuplanen, wenn du solche Modelle nutzt.
• Wenn das Fenster voll ist, gibt etwas nach – eine API lehnt einen zu langen Prompt ab, während Chat-Apps ältere Nachrichten eher stillschweigend weglassen oder zusammenfassen. Deshalb ignoriert ein langes Gespräch mitunter Entscheidungen, die du am Anfang getroffen hast.

Ein größeres Fenster bedeutet nicht, dass das Modell jeden Teil davon gleich gut nutzt. Das Paper „Lost in the Middle“ von 2023 zeigte, dass Modelle am besten antworten, wenn die relevanten Informationen am Anfang oder am Ende einer langen Eingabe stehen, und schlechter, wenn sie in der Mitte vergraben sind. Die Dokumentation von Anthropic nennt den allgemeineren Effekt Context Rot: Je mehr Tokens es werden, desto stärker lassen Genauigkeit und Erinnerungsvermögen nach. Was in diesen Raum gehört, ist das zentrale Thema des Context Engineering.

So funktionieren Token-Preise

Chat-Apps mit Abo verstecken Tokens hinter Nutzungslimits, aber jede API rechnet nach ihnen ab, meist als Preis pro Million Tokens. Vier Posten stehen auf fast jeder Preisliste:

• Input-Tokens – alles, was du schickst, einschließlich System-Prompt und Gesprächsverlauf.
• Output-Tokens – alles, was das Modell schreibt, einschließlich etwaiger Reasoning-Tokens. Output kostet meist ein Mehrfaches des Inputs, weil das Modell ihn Token für Token erzeugt.
• Gecachter Input – Text, der am Anfang vieler Anfragen gleich bleibt, etwa ein langer System-Prompt, kann zwischengespeichert und günstiger abgerechnet werden. Bei Claude kosten Cache-Lesezugriffe bei den meisten Modellen ein Zehntel des normalen Input-Preises.
• Batch-Verarbeitung – mehrere Anbieter gewähren Rabatt auf Anfragen, die keine sofortige Antwort brauchen und innerhalb einiger Stunden laufen dürfen.

Ein Rechenbeispiel mit erfundenen, aber realistischen Preisen von 3 $ pro Million Input-Tokens und 15 $ pro Million Output-Tokens: Ein Support-Assistent mit einem System-Prompt von 2.000 Tokens, etwa 1.500 Tokens Gesprächsverlauf und einer Kundennachricht von 300 Tokens schickt pro Antwort 3.800 Input-Tokens und bekommt rund 400 zurück. Das macht 0,0114 $ für den Input plus 0,006 $ für den Output, also weniger als zwei Cent pro Antwort oder etwa 174 $ für 10.000 Antworten im Monat. Halbierst du den System-Prompt, sinkt die Rechnung um etwa ein Sechstel; cachst du ihn, sparst du noch mehr.

Die Lehre daraus ist nicht, dass Tokens teuer sind. Sondern dass die Kosten in den Teilen stecken, die sich wiederholen: System-Prompts, Verlauf und angehängte Dokumente, multipliziert mit jeder einzelnen Anfrage.

So zählst du Tokens vor dem Absenden

Meist brauchst du keine exakte Zahl. Du brauchst sie, wenn du nah an einem Limit bist, eine Automatisierung kalkulierst oder Modelle vergleichst. Die Möglichkeiten, von grob bis exakt:

1. Die Faustregel – Wörter × 1,33 für Englisch. Gut genug für die Frage „Passt das noch rein?“, aber unzuverlässig bei Code, Zahlen oder anderen Sprachen.
2. Ein Schätz-Tool – unser Token-Zähler läuft in deinem Browser, dein Text wird also nicht hochgeladen, und er zeigt geschätzte Tokens und Kosten für mehrere Modelle gleichzeitig.
3. Das Tool des Anbieters – OpenAI bietet eine Tokenizer-Seite und seine Open-Source-Bibliothek tiktoken; Anthropic stellt in seiner API einen kostenlosen Endpunkt zum Zählen von Tokens bereit; die Gemini API von Google hat eine Count-Tokens-Methode. Diese Tools nutzen den echten Tokenizer des Modells, das du angibst.
4. Der Nutzungsbericht – jede API-Antwort sagt dir, wie viele Input- und Output-Tokens sie verbraucht hat. Bei laufenden Systemen schlägt das Protokollieren dieser Zahlen jede Schätzung.

In Chat-Apps siehst du Token-Zahlen so gut wie nie. Die Anzeichen dafür, dass du nah am Limit bist, sind indirekt: Warnungen vor langen Gesprächen, Dateien, die abgeschnitten werden, oder Antworten, die frühere Details vergessen.

Prompts, die Tokens sparen, ohne an Qualität zu verlieren

Tokens zu kürzen bringt nur etwas, wenn die Antworten genauso gut bleiben. Am sichersten sparst du, indem du Wiederholungen streichst und die Länge steuerst, nicht indem du Prompts im Telegrammstil schreibst. Der erste Prompt macht aus einem ausufernden Chat ein kompaktes Briefing, das du in ein neues Gespräch einfügen kannst:

Als Nächstes lohnen sich lange System-Prompts und wiederverwendbare Vorlagen, denn für die zahlst du bei jeder Anfrage:

Output-Tokens sind die teuren, und Modelle schreiben gern mehr, als du brauchst. Sag also, welche Länge und Form du willst:

Wenn du unsicher bist, ob ein gekürzter Prompt noch klar genug ist, lass ihn durch unsere Prompt-Analyse laufen. Die Grundlagen eines gut gebauten Prompts findest du in unserem Ratgeber zu den Grundlagen des Prompt Engineering.

So verbrauchst du weniger Tokens

Neben Prompts machen ein paar Gewohnheiten den größten Unterschied:

• Fang für neue Themen neue Chats an – ein Gespräch pro Aufgabe hält den Verlauf kurz und relevant.
• Schick den relevanten Teil, nicht die ganze Datei – füg die drei Abschnitte ein, auf die es ankommt, statt des 80-seitigen Berichts. Bei großen Dokumentensammlungen erledigt Retrieval das automatisch; mehr dazu in unserem Ratgeber, was RAG ist.
• Räum eingefügten Text auf – Webseiten und PDFs bringen Menüs, Fußzeilen, Seitenzahlen und wiederholte Kopfzeilen mit. Sie zu entfernen bringt Genauigkeit gratis.
• Stell gleichbleibende Inhalte an den Anfang – halte bei einer API den System-Prompt und das Referenzmaterial identisch und am Anfang jeder Anfrage, damit Caching greifen kann.
• Wähl das Modell passend zur Aufgabe – kleinere Modelle kosten pro Token nur einen Bruchteil und erledigen Klassifizierung, Extraktion und kurze Umformulierungen gut. Heb dir die großen Modelle und die Reasoning-Modi für Probleme auf, die sie wirklich brauchen.
• Verlang strukturierten Output – ein JSON-Objekt oder eine kurze Tabelle ist meist kürzer als Fließtext und lässt sich danach leichter weiterverarbeiten.

Grenzen, die du kennen solltest

• Token-Zahlen sind modellübergreifend nur Näherungswerte – derselbe Text ergibt mit verschiedenen Tokenizern unterschiedliche Zahlen, und selbst die offiziellen Zähl-Tools bezeichnen sich als Schätzungen. Plane einen Puffer ein.
• Ein großes Fenster ist kein perfektes Gedächtnis – dass ein Dokument in den Kontext passt, heißt nicht, dass jedes Detail auch genutzt wird. Bitte um Zitate oder Seitenangaben, wenn es auf Genauigkeit ankommt.
• Weniger Tokens sind nicht immer besser – wenn du Kontext streichst, den das Modell braucht, oder auf komplexe Fragen sehr kurze Antworten verlangst, sparst du Cent-Beträge und verlierst Qualität. Gerade Reasoning-Tokens bringen bei schwierigen Problemen oft echte Genauigkeit.
• Die Limits von Chat-Abos sind keine einfache Token-Rechnung – Abo-Apps legen eigene Nutzungsgrenzen fest, die je nach Tarif, Modell und Auslastung schwanken und nicht immer in Tokens angegeben werden. Lange Chats und große Dateien verbrauchen sie trotzdem schneller.
• Preise und Limits ändern sich oft – Kontextfenster, Tarife und Tokenizer haben sich mehrmals im Jahr geändert. Schau vor deiner Budgetplanung auf die aktuelle Preisseite des Anbieters und betrachte jede Zahl in einem Artikel, auch in diesem, als Ausgangspunkt.
• Tokens messen keine Wahrheit – ein Modell kann eine flüssige, sauber formatierte Antwort in genau der gewünschten Länge liefern und trotzdem falsch liegen. Token-Limits und KI-Halluzinationen sind zwei verschiedene Probleme.

Sobald du in Tokens denkst, ergibt viel seltsames KI-Verhalten Sinn: der Chat, der vergisst, die Rechnung, die mit jeder neuen Funktion wächst, die Antwort, die beim Buchstabieren merkwürdig schwach ist. Du musst sie nicht täglich zählen, aber wenn du weißt, wohin sie fließen, kannst du Prompts schreiben, die passen, weniger kosten und die wichtigen Teile dort platzieren, wo das Modell sie wirklich bemerkt.

Quellen

• Anthropic — Kontextfenster (Claude-Dokumentation)
• Liu et al. — Lost in the Middle: How Language Models Use Long Contexts (2023, Englisch)
• Wikipedia — Byte Pair Encoding