Was ist RAG? So antwortet KI aus deinen eigenen Dokumenten

Frag einen Chatbot nach der Rückgaberegelung deines Unternehmens, und du bekommst eine selbstsichere Antwort, die mit deinem Unternehmen nichts zu tun hat. Das Modell hat deine Regelung nie gesehen: Es hat aus einer Momentaufnahme öffentlicher Texte gelernt, die an einem Stichtag endet. Retrieval-Augmented Generation, fast immer als RAG abgekürzt, ist die Standardlösung dafür. Bevor das Modell antwortet, sucht ein Suchschritt die passenden Abschnitte in deinen eigenen Dokumenten heraus und gibt sie zusammen mit der Frage weiter. Dieser Ratgeber erklärt verständlich, was RAG ist, wie es funktioniert, wann es besser ist als Fine-Tuning oder einfach alles einzufügen, wie du es ohne Code nutzt und wo es trotzdem schiefgeht.

Was RAG einfach erklärt bedeutet

RAG ist eine Prüfung mit offenem Buch für ein KI-Modell. Ohne RAG antwortet das Modell aus dem Gedächtnis, also mit den Mustern, die es im Training aufgenommen hat. Mit RAG bekommt es zuerst ein paar Seiten aus dem richtigen Buch und soll dann anhand dieser Seiten antworten. Der Name nennt die drei Teile in der richtigen Reihenfolge: Retrieval (relevanten Text finden), Augmented (ihn dem Prompt hinzufügen) und Generation (die Antwort schreiben). Auf Deutsch spricht man auch von abrufgestützter Textgenerierung.

Der Begriff stammt aus einem Paper von 2020, in dem Patrick Lewis und Kollegen von Facebook AI Research, dem University College London und der New York University ein Sprachmodell mit einem durchsuchbaren Wikipedia-Index kombinierten. Das Ergebnis waren genauere und konkretere Antworten als mit dem Modell allein. Die Idee hat sich durchgesetzt, weil sie drei Probleme auf einmal löst:

• Internes Wissen – das Modell kann deine Handbücher, Verträge und Wikis nutzen, ohne darauf neu trainiert zu werden.
• Aktuelles Wissen – du aktualisierst ein Dokument, und schon die nächste Antwort berücksichtigt es.
• Nachvollziehbare Antworten – weil die Antwort auf bestimmten Abschnitten beruht, kann das Tool dir zeigen, auf welchen.

Außerdem hilft RAG gegen KI-Halluzinationen. Ein Modell, das die Fakten vor sich hat, hat weniger Grund, welche zu erfinden – wobei „weniger“, wie du weiter unten siehst, nicht „nie“ heißt.

So funktioniert RAG Schritt für Schritt

Jedes RAG-System folgt derselben Pipeline: Ein Teil passiert vorab, ein Teil bei jeder einzelnen Frage.

Vorbereitung (einmal erledigt, danach aktuell gehalten):

1. Dokumente sammeln – PDFs, Webseiten, Hilfeartikel, Transkripte.
2. In Chunks aufteilen – Abschnitte von ein paar hundert Wörtern, denn ein Modell arbeitet mit fünf relevanten Absätzen besser als mit fünfzig kompletten Dateien.
3. Embeddings erzeugen – jeder Chunk wird zu einer langen Zahlenliste, die seine Bedeutung abbildet. Abschnitte über ähnliche Dinge bekommen ähnliche Zahlen, auch wenn sie andere Wörter verwenden.
4. In einem Index speichern – meist in einer Vektordatenbank, oft ergänzt durch einen klassischen Stichwortindex.

Bei jeder Frage:

1. Suchen – auch die Frage wird in ein Embedding umgewandelt, und das System findet die ähnlichsten Chunks. Viele Systeme führen zusätzlich eine Stichwortsuche aus, die exakte Begriffe wie Produktcodes zuverlässig trifft.
2. Auswählen – die besten Treffer, oft 5 bis 20 Chunks, werden ausgewählt und manchmal von einem zweiten Modell, dem sogenannten Reranker, neu sortiert.
3. Prompt zusammenbauen – die Chunks werden mit Anweisungen wie „Antworte nur anhand dieser Quellen“ in den Prompt eingefügt.
4. Generieren – das Modell schreibt die Antwort und nennt im Idealfall die Chunks, die es verwendet hat.

Der versteckte Prompt, den das Modell erhält, sieht ungefähr so aus:

Das ist schon der ganze Trick. RAG verändert das Modell überhaupt nicht, sondern nur das, was das Modell zu sehen bekommt. Deshalb gilt es meist als ein Baustein von Context Engineering: der Entscheidung, was bei jeder Anfrage in das Kontextfenster des Modells kommt.

RAG vs. Fine-Tuning vs. langes Kontextfenster

RAG ist nicht der einzige Weg, einem Modell dein Wissen mitzugeben, und jede Option passt zu einer anderen Aufgabe.

• Fine-Tuning – trainiert das Modell mit Beispielen nach. Das eignet sich gut, um ein Verhalten beizubringen, etwa einen Hausstil oder ein festes Ausgabeformat. Für Fakten taugt es wenig: Sie verschwimmen im Modell, lassen sich nicht belegen und sind veraltet, sobald sich etwas ändert.
• Ein langes Kontextfenster – heißt, einfach alles einzufügen. Bei einer kleinen, stabilen Dokumentensammlung ist das oft die einfachste Lösung. Anthropic empfiehlt: Ist eine Wissensbasis kleiner als etwa 200.000 Token (rund 500 Seiten), kannst du sie komplett mitgeben und mit Prompt Caching die Kosten niedrig halten.
• RAG – ruft nur ab, was für die jeweilige Frage relevant ist. Es gewinnt, wenn das Material zu groß zum Einfügen ist, sich oft ändert, Berechtigungen pro Nutzer braucht oder mit Quellenangaben kommen muss.

Als Faustregel: Fine-Tuning dafür, wie das Modell antworten soll, RAG dafür, was es wissen soll, und ein langer Kontext für kleine Aufgaben. Du weißt nicht, wie umfangreich dein Material ist? Füge eine Probe in unseren Token-Zähler ein und rechne hoch.

Wo du RAG schon nutzt

Wahrscheinlich hast du RAG diese Woche schon genutzt, ohne es zu merken. Jede KI-Funktion, die etwas liest, bevor sie antwortet, macht eine Variante davon:

• KI-Suche – Perplexity, die ChatGPT-Suche und Googles Übersicht mit KI durchsuchen das Web, lesen die besten Treffer und schreiben eine Antwort mit Links. Unser Ratgeber Perplexity AI nutzen zeigt, wie du das Beste daraus holst.
• Mit deinen Dateien chatten – du lädst PDFs in ein Projekt in ChatGPT oder Claude oder in ein Gem in Gemini hoch. Bei großen Dateien sucht das Tool die relevanten Teile heraus, statt jedes Mal jede Seite zu lesen.
• NotebookLM – Googles Recherche-Notizbuch antwortet nur auf Basis der Quellen, die du hinzufügst, und zeigt zu jeder Aussage einen Beleg. Es ist das anschaulichste Beispiel für RAG im Alltag.
• Arbeitsassistenten – Microsoft 365 Copilot und ähnliche Tools greifen auf deine E-Mails, Dateien und Chats zu, gefiltert nach dem, was du sehen darfst.

Wenn eine KI-Suche also etwas falsch macht, liegt es oft am Abruf (eine schwache oder veraltete Seite) und nicht am Denkvermögen des Modells. Prüf deshalb zuerst die Quellen.

RAG ohne Programmieren einrichten

Für die meisten heißt „RAG machen“ nicht, eine Vektordatenbank aufzubauen. Es heißt, ein Tool zu wählen, das den Abruf für dich übernimmt, und es mit guten Quellen zu füttern.

• Den richtigen Rahmen wählen – NotebookLM für Recherchen über viele Dokumente (unser Ratgeber NotebookLM nutzen führt dich durch), ein Projekt in ChatGPT oder Claude für laufende Arbeit oder ein eigener GPT mit Wissensdateien, wenn du den Assistenten mit anderen teilen willst.
• Kuratieren statt abladen – zehn aktuelle Dokumente sind besser als 200, unter denen drei Versionen derselben Richtlinie sind. Lösch überholte Dateien; das System kann nicht erkennen, welche Version gilt.
• Dokumente gut durchsuchbar machen – klare Überschriften, ein Thema pro Datei, sprechende Namen („Reisekostenrichtlinie 2026 – Deutschland“ statt „final_v3.pdf“) und Datumsangaben im Text selbst. Eingescannte Seiten ohne lesbaren Text sind für die meisten Tools unsichtbar.
• Anweisungen für den Assistenten schreiben – sag ihm, dass er nur aus den Dateien antworten, sie zitieren und Lücken zugeben soll. Unser System-Prompt-Generator gibt dir eine Struktur zum Start.

Solide Anweisungen für einen Dokumenten-Assistenten:

Prompts für bessere Antworten von RAG-Tools

Der Abruf hängt an deiner Frage: Das System sucht mit dem, was du eintippst, und eine vage Frage liefert vage Abschnitte. Ein paar Gewohnheiten helfen:

• Das Vokabular der Dokumente verwenden – wenn im Handbuch „Erholungsurlaub“ steht, findet dieser Begriff die richtige Stelle zuverlässiger als „Urlaubstage“.
• Eine Sache nach der anderen fragen – eine Frage mit drei Teilen teilt die Suche in drei Richtungen. Drei einzelne Fragen ergeben drei gute Treffer.
• Nach Zitaten fragen – wenn du den genauen Satz anforderst, lässt sich die Antwort leichter prüfen und schwerer ausschmücken.
• Fragen, was fehlt – eine gute RAG-Antwort sagt dir, wenn die Quellen schweigen. Fordere das ausdrücklich ein.

Dieser Prompt funktioniert in fast jedem Tool, das aus deinen Dateien oder dem Web antwortet:

Warum RAG-Antworten trotzdem falsch sein können

RAG verringert Fehler, schafft aber eine neue Stelle, an der sie entstehen können: die Suche. Eine falsche Antwort hat meist einen dieser Gründe:

• Der richtige Abschnitt wurde nicht gefunden – die Suche hat ihn verpasst, also hat das Modell aus einem Beinahe-Treffer oder aus dem Gedächtnis geantwortet. Das ist der häufigste Fehler.
• Der Abschnitt wurde zerschnitten – „Erstattungen sind innerhalb von 30 Tagen möglich“ landete in einem Chunk, „ausgenommen reduzierte Artikel“ im nächsten.
• Die Quelle war veraltet – eine alte Version wurde gefunden und getreu zitiert.
• Das Modell hat Quellen vermischt – es hat abgerufene Fakten mit seinen Trainingsdaten gemischt oder zwei Quellen zu einer Aussage verschmolzen.
• Der Beleg stützt die Aussage nicht – der verlinkte Abschnitt sagt etwas leicht anderes. Quellenangaben zeigen, wo du nachprüfen kannst; sie beweisen nicht, dass die Antwort stimmt.

Wenn dir etwas seltsam vorkommt, lass das Tool seinen Lösungsweg zeigen:

Eine RAG-App bauen: die Entscheidungen, auf die es ankommt

Wenn dein Team ein RAG-System baut, ist das Modell selten das schwache Glied. Die Qualität entsteht durch eine Handvoll unspektakulärer Entscheidungen:

• Chunking – zu kleine Chunks verlieren den Zusammenhang, zu große verwässern den Treffer. Das Aufteilen nach Überschriften und Abschnitten schlägt meist das starre Teilen alle N Zeichen, und eine kleine Überlappung verhindert, dass Regeln von ihren Ausnahmen getrennt werden.
• Kontext für jeden Chunk – „Die Obergrenze liegt bei 500 €“ ist nutzlos, wenn man nicht weiß, zu welcher Richtlinie der Satz gehört. Anthropics Contextual Retrieval ergänzt jeden Chunk vor dem Indexieren um eine kurze Notiz, wo er im Dokument steht. In Anthropics Tests senkte das, kombiniert mit Stichwortsuche, die Zahl der fehlgeschlagenen Abrufe um 49 % und mit Reranking um 67 %.
• Hybride Suche – Embeddings verstehen „Wie bekomme ich mein Geld zurück?“, die Stichwortsuche findet „Fehlercode E-4012“. Nutze beides.
• Metadaten und Berechtigungen – speichere Datum, Verantwortliche und Zugriffsrechte zu jedem Chunk, damit du nach Aktualität filtern kannst und niemandem einen Abschnitt zeigst, den er nicht sehen darf.
• Evaluation – sammle 50 bis 100 echte Fragen mit bekannten Antworten und miss zwei Dinge getrennt: Hat der Abruf die richtigen Abschnitte gefunden, und ist die Antwort ihnen treu geblieben?

Fortgeschrittene Setups lassen das Modell selbst entscheiden, wann und wonach es sucht, oder mehrere Suchen nacheinander ausführen. Hier überschneidet sich RAG mit KI-Agenten: Der Abruf wird zu einem Werkzeug unter mehreren statt zu einem festen Schritt.

Was RAG nicht kann

RAG ist der praktischste Weg, KI mit echtem Wissen zu verbinden, wird aber oft überschätzt. Diese Grenzen solltest du kennen:

• Es beseitigt Halluzinationen nicht – es verringert sie. Modelle lesen Quellen trotzdem falsch oder übertreiben sie, vor allem wenn der Abruf wenig Brauchbares liefert.
• Es kann keine Fragen über alles auf einmal beantworten – „Wie viele unserer 3.000 Verträge enthalten eine Vertragsstrafe?“ erfordert, jedes Dokument zu lesen, nicht nur die zehn besten Abschnitte. Zählungen, Summen und vollständige Listen brauchen eine Datenbankabfrage oder einen Durchgang Dokument für Dokument.
• Deine Dokumente setzen die Obergrenze – falsche oder veraltete Quellen ergeben falsche oder veraltete Antworten, vorgetragen mit derselben Selbstsicherheit.
• Es liefert Fakten, keine Fähigkeiten – abgerufener Text ändert nicht, wie das Modell schreibt oder denkt. Der Stil kommt aus Anweisungen, Beispielen oder Fine-Tuning.
• Abgerufener Text kann Angriffe enthalten – eine Webseite oder geteilte Datei kann versteckte Anweisungen an das Modell enthalten, bekannt als Prompt Injection. Behandle abgerufene Inhalte als Daten, nicht als Befehle.
• Es braucht Pflege – Dokumente ändern sich, Indizes veralten. Ein RAG-System ist eine Bibliothek, die eine Bibliothekarin braucht, keine einmalige Installation.

Die Kernidee lohnt sich, auch wenn du nie selbst ein solches System baust: Ein Modell antwortet gut, wenn die richtigen Fakten vor ihm liegen, und RAG ist die Maschinerie, die sie findet. Gib ihm gute Quellen, stell präzise Fragen und prüf bei allem, was wichtig ist, die Belege.

Quellen

• Lewis et al. — Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (arXiv, Englisch)
• Anthropic — Introducing Contextual Retrieval (Englisch)
• Prompt Engineering Guide (DAIR.AI) — Retrieval Augmented Generation (RAG) einfach erklärt