Retrieval Augmented Generation (RAG) bezeichnet ein Verfahren, bei dem ein Sprachmodell eine Frage nicht allein aus dem Gelernten beantwortet, sondern zunächst passende Dokumente abruft und die Antwort auf deren Grundlage formuliert.
Der Unterschied lässt sich an einer Prüfungssituation beschreiben: Ohne RAG antwortet das Modell aus dem Gedächtnis, mit RAG darf es vorher nachschlagen. Das verändert nicht die Sprachfähigkeit, wohl aber die Belegbarkeit der Aussagen.
Die drei Schritte
- Retrieval. Zur Anfrage werden passende Textabschnitte gesucht — in einem Dokumentenbestand, einer Wissensdatenbank oder im offenen Web. Die Suche läuft meist über Vektorähnlichkeit: Frage und Textabschnitte werden in numerische Repräsentationen überführt, verglichen wird deren Nähe im Bedeutungsraum, nicht die Übereinstimmung der Wörter.
- Augmentation. Die gefundenen Abschnitte werden der eigentlichen Frage vorangestellt und gemeinsam an das Sprachmodell übergeben.
- Generation. Das Modell formuliert die Antwort aus diesem mitgelieferten Material — im Idealfall mit Verweis darauf, woher die einzelnen Aussagen stammen.
Warum das Verfahren sich durchgesetzt hat
RAG löst drei Probleme auf einmal, die ein Sprachmodell allein nicht lösen kann. Es umgeht den Wissensstand, weil aktuelle Dokumente zur Laufzeit hinzukommen. Es reduziert die Halluzination, weil die Antwort an vorliegendem Material hängt. Und es macht Aussagen nachvollziehbar, weil sich zu jeder Angabe eine Quelle benennen lässt.
Der Aufwand ist zudem gering im Vergleich zur Alternative. Ein Modell neu zu trainieren, sobald sich Informationen ändern, ist unwirtschaftlich; einen Dokumentenbestand zu aktualisieren, ist Routine.
Wo RAG sichtbar wird
Öffentlich begegnet das Verfahren vor allem in generativen Suchergebnissen. Wenn eine Antwort mit Quellenangaben erscheint — etwa in den AI Overviews oder in KI-Suchsystemen —, liegt in aller Regel ein Retrieval-Schritt zugrunde. Die genannten Seiten sind das abgerufene Material, nicht das Trainingsmaterial.
Genau darin liegt die praktische Bedeutung für Websites: In der klassischen Vorstellung muss ein Text im Training eines Modells gelandet sein, um erwähnt zu werden. Bei RAG genügt es, im Moment der Anfrage auffindbar, abrufbar und inhaltlich passend zu sein. Das ist eine Frage von Tagen statt von Trainingszyklen — und macht die Zitation zur eigentlichen Zielgröße.
Grenzen
- Die Auswahl entscheidet. Wird beim Retrieval das falsche Dokument gefunden, entsteht eine sauber formulierte falsche Antwort. Das Verfahren verhindert Erfindung, nicht Fehlgriff.
- Abschnitte statt Dokumente. Abgerufen werden Textstücke. Ein Gedanke, der sich über mehrere Seiten verteilt, geht dabei leicht verloren — kurze, in sich abgeschlossene Abschnitte werden zuverlässiger verarbeitet.
- Zusammenfassung bleibt Interpretation. Auch aus korrektem Material kann eine verkürzte oder verzerrte Wiedergabe entstehen.
Was ein guter Abschnitt leisten muss
Weil beim Retrieval nicht ganze Dokumente, sondern Ausschnitte verglichen werden, entscheidet die Beschaffenheit dieser Ausschnitte über den Erfolg. Ein Abschnitt, der auf den vorangegangenen verweist — „wie oben beschrieben“, „daraus folgt“ —, verliert außerhalb seines Zusammenhangs die Aussage.
Bewährt haben sich drei Eigenschaften. Der Abschnitt beantwortet eine Frage. Er benennt den Gegenstand, statt ihn durch ein Pronomen zu ersetzen. Und er trägt eine Überschrift, die die Frage enthält, auf die er antwortet. Diese Anforderungen decken sich weitgehend mit dem, was ein Text ohnehin gut lesbar macht — der Unterschied ist, dass Nachlässigkeit hier nicht verziehen wird.
Für Zahlen gilt eine zusätzliche Regel: Ohne Bezugsdatum und benannte Herkunft ist eine Angabe für ein System nicht verwertbar, weil sie sich nicht einordnen lässt. Eine Zahl mit Stand und Quelle wird übernommen, dieselbe Zahl ohne beides wird übergangen.
Häufige Fragen
Worin unterscheidet sich RAG vom Finetuning?
Finetuning verändert das Modell selbst und eignet sich für Stil, Format und Aufgabenverständnis. RAG lässt das Modell unverändert und liefert Wissen zur Laufzeit. Für Informationen, die sich ändern, ist RAG das passende Verfahren; für Verhalten, das gleich bleiben soll, das Finetuning.
Was bedeutet RAG für die eigene Website?
Dass Inhalte abrufbar sein müssen, wenn die Frage gestellt wird. Voraussetzung ist Zugang für AI Crawler, eine klare Gliederung mit eindeutigen Überschriften und Aussagen, die auch außerhalb ihres Absatzes verständlich bleiben.
Welche Textstruktur wird bevorzugt abgerufen?
Abschnitte, die eine Frage vollständig beantworten, ohne den umgebenden Text zu benötigen. Definitionen am Anfang, sprechende Zwischenüberschriften und kurze Absätze erhöhen die Wahrscheinlichkeit, dass ein Ausschnitt als passend erkannt und übernommen wird.
Ist RAG dasselbe wie eine Websuche im Chatbot?
Die Websuche ist ein Anwendungsfall davon. RAG beschreibt allgemein das Vorschalten eines Abrufschritts — die Quelle kann ebenso ein internes Handbuch, ein Produktkatalog oder eine Dokumentation sein.