Was ist ein LLM? So funktionieren große Sprachmodelle wirklich

ChatGPT, Claude, Gemini und Copilot sehen aus wie verschiedene Produkte, doch unter jedem davon steckt dieselbe Art von Technologie: ein großes Sprachmodell (Large Language Model), kurz LLM. Wer versteht, was dieses Modell ist und was nicht, versteht das meiste von dem, was diese Assistenten gut können, und warum sie oft danebenliegen. Dieser Ratgeber erklärt, was ein LLM ist, wie es aus deinem Prompt eine Antwort macht, wie es trainiert wird, welche Haupttypen dir begegnen, wie du eins für eine bestimmte Aufgabe auswählst und mit welchen Prompts du am meisten herausholst.

Was ein LLM ist

Ein großes Sprachmodell ist ein neuronales Netz, das mit einer riesigen Menge Text trainiert wurde, um eine einzige Sache zu tun: vorherzusagen, welches Textstück als Nächstes kommt. Gib ihm den Anfang eines Satzes, und es schätzt ab, welche Fortsetzungen wahrscheinlich sind. Wiederhol diesen Schritt Tausende Male, und heraus kommt eine E-Mail, eine Zusammenfassung, eine Übersetzung oder eine funktionierende Funktion.

Das „groß“ hat zwei Bedeutungen. Erstens die Trainingsdaten, bei aktuellen Modellen Billionen von Wörtern: Webseiten, Bücher, Code und andere Texte. Meta zum Beispiel gibt an, dass seine Llama-3-Modelle mit mehr als 15 Billionen Tokens trainiert wurden. Zweitens die Zahl der Parameter: die internen Werte, die das Modell während des Trainings anpasst und in denen gespeichert ist, was es gelernt hat. GPT-2 hatte 2019 1,5 Milliarden Parameter, GPT-3 ein Jahr später 175 Milliarden. Viele Unternehmen nennen die Zahl für ihre Spitzenmodelle nicht mehr, aber offene Modelle mit veröffentlichten Gewichten reichen von etwa einer Milliarde bis zu mehreren Hundert Milliarden Parametern.

LLMs sind der Zweig der generativen KI, der mit Sprache arbeitet. Bekannte Modellfamilien sind GPT von OpenAI, Claude von Anthropic, Gemini von Google, Llama von Meta sowie Modelle von Mistral, Alibaba (Qwen) und DeepSeek.

So funktioniert ein LLM: Es sagt das nächste Token voraus

Ein LLM liest weder Buchstaben noch Wörter. Zuerst zerlegt ein Tokenizer deinen Text in Tokens, also Stücke, die oft ein ganzes Wort und manchmal nur ein Teil davon sind, und verwandelt jedes davon in eine Zahl. Unser Ratgeber zu KI-Tokens erklärt diesen Schritt im Detail.

Danach entsteht die Antwort in einer Schleife:

1. Den Kontext lesen – das Modell nimmt jedes Token der Eingabe auf: die Systemanweisungen, das bisherige Gespräch und deine letzte Nachricht.
2. Jede Option bewerten – es berechnet eine Wahrscheinlichkeit für jedes Token in seinem Vokabular, typischerweise Zehntausende Kandidaten oder mehr.
3. Eins auswählen – es wählt ein Token, meist eines der wahrscheinlichen, aber nicht immer das allerwahrscheinlichste. Eine Einstellung namens Temperatur steuert, wie experimentierfreudig diese Wahl ausfällt.
4. Wiederholen – das gewählte Token wird an den Kontext angehängt, und das Modell sagt das nächste voraus, bis die Antwort fertig ist.

Die Architektur, mit der das im großen Maßstab funktioniert, ist der Transformer, den Forschende von Google 2017 im Paper „Attention Is All You Need“ vorgestellt haben. Seine zentrale Idee ist die Attention (Aufmerksamkeit): Für jedes Token gewichtet das Modell, wie relevant jedes andere Token im Kontext ist. So erkennt es, dass sich „er“ im Satz „Der Koffer passte nicht in den Kofferraum, weil er zu klein war“ auf den Kofferraum bezieht, und so behält es Anweisungen im Blick, die du 2.000 Wörter vorher gegeben hast.

Daraus ergeben sich drei praktische Folgen:

• Derselbe Prompt kann unterschiedliche Antworten liefern, weil jedes Token mit einer gewissen Zufälligkeit gewählt wird. Wenn es auf ein Ergebnis ankommt, frag zweimal und vergleich.
• Das Modell weiß nur, was in seinen Gewichten und in seinem Kontext steht. Es durchsucht keine Datenbank, es sei denn, die App drumherum ergänzt ein Suchwerkzeug.
• Es optimiert auf plausibel, nicht auf wahr. Meistens fällt beides zusammen; wenn nicht, bekommst du einen selbstbewusst vorgetragenen Fehler.

Wie LLMs trainiert werden

Ein moderner Assistent durchläuft mehrere Trainingsphasen, und jede prägt sein Verhalten.

• Pretraining – das Modell liest eine riesige Textsammlung und lernt, das nächste Token vorherzusagen, immer und immer wieder, wobei es seine Parameter jedes Mal anpasst, wenn es falschliegt. Hier lernt es Grammatik, Fakten, Schreibstile, Codemuster und etwas Schlussfolgern. Es ist auch der teure Teil und dauert Wochen oder Monate auf Tausenden spezialisierter Chips. Das Ergebnis ist ein Basismodell: Es setzt Text gut fort, befolgt aber Anweisungen nicht zuverlässig. Auf eine Frage antwortet es womöglich mit drei weiteren Fragen, weil das plausibel weiterführt.
• Instruction Tuning – das Basismodell wird mit Beispielen weitertrainiert, in denen Anfragen mit guten Antworten gepaart sind. So lernt es, sich wie ein Assistent zu verhalten: die Frage beantworten, das Format einhalten, aufhören, wenn es fertig ist.
• Lernen aus Feedback – Menschen (und zunehmend andere Modelle) bringen alternative Antworten in eine Rangfolge, und das Modell wird darauf trainiert, die besseren zu bevorzugen. Das nennt sich Reinforcement Learning from Human Feedback (RLHF), also bestärkendes Lernen durch menschliches Feedback. Im InstructGPT-Paper von OpenAI aus dem Jahr 2022 bevorzugten Menschen die Antworten eines so trainierten Modells mit 1,3 Milliarden Parametern gegenüber denen von GPT-3 mit 175 Milliarden Parametern. Das zeigt, wie viel diese Phase ausmacht.
• Reasoning-Training – neuere Modelle werden außerdem darauf trainiert, Probleme vor der Antwort Schritt für Schritt durchzuarbeiten, und belohnt, wenn sie in Bereichen wie Mathematik und Code zu korrekten, überprüfbaren Ergebnissen kommen.

Eine Folge von alldem ist der Wissensstichtag (Knowledge Cutoff). Das Pretraining nutzt Daten bis zu einem bestimmten Datum; danach weiß das Modell nichts, es sei denn, die App gibt ihm eine Suche oder du fügst die Informationen selbst ein.

LLMs, Chatbots und generative KI: der Unterschied

Diese Begriffe werden oft gleichbedeutend verwendet, sind aber Schichten desselben Aufbaus:

• Generative KI ist die breite Kategorie: jede KI, die Text, Bilder, Audio, Video oder Code erzeugt.
• Ein LLM ist der Motor für Sprache: ein Modell, das Text aufnimmt und Text ausgibt. Viele verarbeiten inzwischen auch Bilder, Audio oder Dateien; solche Modelle heißen oft multimodal.
• Ein Chatbot oder Assistent ist das Produkt, das um das Modell herum gebaut ist. ChatGPT ist eine App; die GPT-Modelle sind das, was darin läuft.

Das Produkt ergänzt vieles, was Leute „der KI“ zuschreiben: einen versteckten System-Prompt, der Ton und Regeln festlegt, Websuche, Datei-Uploads, Codeausführung, ein Gedächtnis über Chats hinweg und Sicherheitsfilter. Deshalb verhält sich dasselbe Modell in zwei Apps unterschiedlich, und deshalb kann ein Assistent die Nachrichten von heute zitieren, obwohl das Wissen seines Modells Monate früher endet. Bekommt ein LLM Werkzeuge und darf es in mehreren Schritten handeln, wird es zum KI-Agenten.

Welche Arten von LLMs dir begegnen

Die meisten LLMs lassen sich entlang von vier Achsen einordnen, und wo ein Modell steht, verrät viel darüber, wie du es nutzen solltest.

• Geschlossen oder mit offenen Gewichten – geschlossene Modelle (GPT, Claude, Gemini) nutzt du nur über die Apps und die API des jeweiligen Unternehmens. Modelle mit offenen Gewichten (Llama, Mistral, Qwen, DeepSeek und andere) veröffentlichen ihre Parameter, sodass jeder sie herunterladen, betreiben und feintunen kann, im Rahmen der jeweiligen Lizenz. Offene Gewichte geben dir Datenschutz und Kontrolle; geschlossene Modelle liegen bei den schwierigsten Aufgaben meist vorn und brauchen keine Einrichtung.
• Groß oder klein – Spitzenmodelle (Frontier-Modelle) sind die leistungsfähigsten und pro Token die teuersten. Kleine Modelle mit einer bis zu ein paar Milliarden Parametern laufen auf einem Laptop oder Smartphone und erledigen Klassifizierung, Extraktion und kurze Umformulierungen gut. Die meisten Anbieter verkaufen mehrere Größen derselben Familie.
• Standard oder Reasoning – Reasoning-Modelle verbrauchen zusätzliche Tokens, um vor der Antwort „nachzudenken“. Sie sind langsamer und teurer, aber spürbar besser bei Mathematik, Logik, Planung und Fehlersuche im Code. Für eine schnelle Umformulierung bringen sie wenig.
• Nur Text oder multimodal – multimodale Modelle lesen neben Text auch Bilder, Screenshots, Diagramme und manchmal Audio. Deshalb kannst du ein Formular oder ein Whiteboard fotografieren und Fragen dazu stellen.

Manche großen Modelle nutzen eine Bauweise namens Expertenmischung (Mixture of Experts), bei der für jedes Token nur ein Teil des Netzes aktiv ist. DeepSeek-V3 etwa hat insgesamt 671 Milliarden Parameter, nutzt aber pro Token nur rund 37 Milliarden. Dadurch ist es im Betrieb viel günstiger, als seine Größe vermuten lässt.

Was LLMs gut können und welche Prompts helfen

Am stärksten sind LLMs, wenn es darum geht, Sprache umzuwandeln, die du überprüfen kannst: Entwürfe schreiben, zusammenfassen, für ein anderes Publikum umschreiben, übersetzen, strukturierte Daten aus unordentlichem Text herausziehen, ein Konzept auf einem gewählten Niveau erklären, Ideen sammeln und Code schreiben oder prüfen. Am schwächsten sind sie, wenn sie Fakten aus dem Gedächtnis liefern sollen, ohne Quelle zum Gegenprüfen.

Am zuverlässigsten ist es daher, dem Modell das Material zu geben und es damit arbeiten zu lassen, statt es sich erinnern zu lassen:

Weil das Modell seine Antwort Token für Token erzeugt, hilft es bei mehrstufigen Problemen oft, es vor der endgültigen Antwort seinen Lösungsweg darlegen zu lassen. Das ist die Idee hinter dem Gedankenketten-Prompting (Chain of Thought), und es macht Fehler außerdem leichter erkennbar:

LLMs reagieren auch gut auf Beispiele. Wenn du einen bestimmten Stil oder ein bestimmtes Format willst, zeig eins, statt es zu beschreiben:

Willst du solche Prompts nicht selbst schreiben, baut unser KI-Prompt-Generator aus einer einzeiligen Beschreibung dessen, was du brauchst, eine strukturierte Version.

So wählst du ein LLM für eine Aufgabe aus

Ranglisten ändern sich monatlich und spiegeln selten deine echte Arbeit wider. Ein kurzer Test mit deinen eigenen Aufgaben bringt mehr als jedes Ranking. Geh diese Fragen durch:

1. Um welche Aufgabe geht es? Schreiben und Analyse, Programmieren, Mathematik, Bildverständnis oder die Verarbeitung großer Mengen sprechen jeweils für andere Modelle. Reasoning-Modelle eignen sich für schwierige Probleme, kleine schnelle Modelle für sich wiederholende.
2. Wohin gehen deine Daten? Prüf bei vertraulichem Material, ob der Anbieter mit deinen Eingaben trainiert und was dein Tarif erlaubt. Business-Tarife und APIs bieten meist strengere Bedingungen; ein Modell mit offenen Gewichten auf deiner eigenen Hardware hält die Daten komplett im Haus.
3. Wie viel Eingabe brauchst du? Lange Berichte oder Codebasen brauchen ein großes Kontextfenster, gemessen in Tokens.
4. Was kostet es bei deinem Volumen? Schätz bei einer API eine typische Anfrage und multiplizier. Prüf bei einem Abo die Nutzungslimits des Tarifs, nicht nur den Preis.
5. Braucht es aktuelle Informationen? Dann wähl eine App mit Websuche oder verbinde das Modell per RAG mit deinen eigenen Dokumenten.

Lass dann dieselben drei oder vier echten Prompts durch zwei oder drei Kandidaten laufen und vergleich. Unser Vergleich ChatGPT vs. Claude vs. Gemini ist ein guter Ausgangspunkt für die wichtigsten Chat-Assistenten.

Was LLMs nicht können

• Fakten garantieren – ein LLM erzeugt plausiblen Text und kann daher Quellen, Zahlen und Zitate mit völliger Überzeugung erfinden. Diese KI-Halluzinationen lassen sich verringern, aber nicht beseitigen. Prüf alles, worauf es ankommt.
• Von sich aus aktuelle Ereignisse kennen – ohne Suche oder eingefügte Quellen weiß es nur, was bis zum Stichtag in seinen Trainingsdaten stand, und es weiß womöglich nicht einmal, wann dieser Stichtag ist.
• Sich von selbst über Sitzungen hinweg an dich erinnern – das Modell hat kein Gedächtnis. Chat-Apps simulieren eins, indem sie das Gespräch erneut mitschicken oder Notizen speichern, und alles außerhalb des Kontextfensters ist weg.
• Zuverlässig zählen und buchstabieren – weil es Tokens statt Buchstaben sieht, gehen Aufgaben wie das Zählen von Zeichen oder das Treffen einer exakten Wortzahl oft leicht daneben. Lass es für genaues Zählen Code schreiben und ausführen, wenn die App das erlaubt.
• Von vornherein neutral sein – es hat aus menschlichen Texten gelernt, mit all ihren Vorurteilen und Lücken, und sein Feedback-Training spiegelt die Entscheidungen des Unternehmens wider, das es gebaut hat.
• Sich selbst wahrheitsgetreu erklären – wenn ein Modell sein Vorgehen beschreibt, ist diese Beschreibung ebenfalls erzeugter Text. Sie hilft, Fehler zu entdecken, ist aber kein verlässlicher Blick darauf, wie die Antwort tatsächlich entstanden ist.
• Fachliches Urteil ersetzen – nutz es bei medizinischen, rechtlichen, finanziellen oder sicherheitsrelevanten Entscheidungen, um Fragen und Entwürfe vorzubereiten, und verlass dich dann auf eine qualifizierte Person und Primärquellen.

Am besten stellst du dir ein LLM als sehr belesenen Textvorhersager vor, der darauf trainiert wurde, hilfreich zu sein: schnell, flexibel und oft beeindruckend, aber ohne eingebautes Gespür dafür, was wahr ist. Gib ihm den richtigen Kontext, lass dir den Lösungsweg zeigen, prüf, was es dir sagt, und es wird zu einem deiner nützlichsten Werkzeuge.

Quellen

• Wikipedia — Large Language Model
• Vaswani et al. — Attention Is All You Need (2017)
• Ouyang et al. — Training language models to follow instructions with human feedback (2022)