RAG einfach erklärt: So antwortet KI mit Quellen

RAG steht für Retrieval-Augmented Generation und bedeutet: Eine KI beantwortet Ihre Frage nicht aus antrainiertem Weltwissen, sondern sucht zuerst passende Textausschnitte in einer geprüften Wissensbasis und formuliert die Antwort ausschließlich auf dieser Grundlage – mit Quellenangabe. Der Ablauf läuft in zwei Schritten: Retrieval, die Suche nach den relevantesten Textstellen, meist über eine Vektordatenbank, und Generation, die Formulierung der Antwort durch das Sprachmodell auf Basis genau dieser Fundstellen. Weil das Modell nicht mehr „aus dem Bauch" antwortet, sondern an einen konkreten, nachprüfbaren Kontext gebunden ist, sinkt das Risiko erfundener Fakten – sogenannter Halluzinationen – deutlich. Die Qualität einer RAG-Lösung hängt dabei nicht am Modell allein, sondern an vier Faktoren: der Struktur der zugrunde liegenden Daten, dem Berechtigungskonzept, der Prompt-Instruktion und dem laufenden Monitoring. Fehlt einer dieser vier Bausteine, bleibt RAG nur ein technisches Etikett ohne echten Verlässlichkeitsgewinn.

Was RAG von einem klassischen Chatbot unterscheidet

Ein klassisches Sprachmodell wie ein Standard-Chatbot antwortet aus dem, was es beim Training gelernt hat. Das funktioniert gut für allgemeines Wissen, aber schlecht für aktuelle, interne oder sehr spezifische Fragen – etwa zur eigenen Reisekostenrichtlinie oder zum aktuellen Stand eines Verwaltungsvorgangs. Ein RAG-System schiebt vor die Antwort einen zusätzlichen Schritt: Es durchsucht zuerst eine definierte, freigegebene Wissensbasis nach den passendsten Textstellen und gibt diese dem Modell als Kontext mit. Das Modell antwortet dann nicht mehr aus der Erinnerung, sondern aus der Vorlage – und kann jede Aussage mit einem Zitat belegen.

• Wissensquelle — Klassisches LLM ohne RAG: Trainingsdaten, oft veraltet — RAG-gestützte KI: Aktuelle, freigegebene Dokumente
• Aktualität — Klassisches LLM ohne RAG: Nur bis zum Trainings-Stichtag — RAG-gestützte KI: So aktuell wie die Wissensbasis
• Nachvollziehbarkeit — Klassisches LLM ohne RAG: Kaum, keine Quellenangabe — RAG-gestützte KI: Zitat mit Fundstelle möglich
• Halluzinationsrisiko — Klassisches LLM ohne RAG: Höher, besonders bei Detailfragen — RAG-gestützte KI: Deutlich geringer
• Typischer Einsatz — Klassisches LLM ohne RAG: Allgemeine Recherche, Textentwürfe — RAG-gestützte KI: Interne Wissensdatenbanken, HR- und Verwaltungsauskünfte

Das Ablauf-Schema in fünf Schritten

1. Frage stellen. Eine Nutzerin oder ein Nutzer stellt eine konkrete Frage im Chat oder Suchfeld.
2. Retrieval. Das System durchsucht die Wissensbasis – meist eine Vektordatenbank – nach den inhaltlich passendsten Textausschnitten.
3. Kontext zusammenstellen. Die besten Treffer werden dem Sprachmodell als Kontext mitgegeben, zusammen mit der eigentlichen Frage.
4. Generation. Das Modell formuliert die Antwort ausschließlich auf Basis dieses mitgelieferten Kontexts, nicht aus freiem Weltwissen.
5. Ausgabe mit Quellenangabe. Die Antwort erscheint zusammen mit einem Verweis auf die zugrunde liegende Textstelle – nachprüfbar für die Nutzerin, den Nutzer.

Warum RAG Halluzinationen reduziert

Ein Sprachmodell ohne RAG „weiß" nichts im menschlichen Sinne. Es sagt statistisch plausible Wortfolgen voraus – bei Detailfragen zu internen Regelungen oder aktuellen Vorgängen führt das leicht zu überzeugend klingenden, aber falschen Antworten. RAG begrenzt den Spielraum des Modells: Es darf nur mit dem arbeiten, was im mitgelieferten Kontext steht. Fehlt eine Information in der Wissensbasis, kann ein sauber konfiguriertes RAG-System das erkennen und offen sagen „dazu liegt keine Information vor" – statt eine Antwort zu erfinden. Genau das macht den Unterschied zwischen einer KI, die überzeugend klingt, und einer KI, der man tatsächlich vertrauen kann.

Die vier Qualitätsfaktoren, die über gut oder schlecht entscheiden

Datenstruktur. Unstrukturierte, veraltete oder widersprüchliche Quelldokumente ergeben unabhängig vom Modell schlechte Antworten. Eine saubere Aufbereitung – klar abgegrenzte, aktuelle, in sinnvolle Abschnitte zerlegte Dokumente – ist die Grundvoraussetzung.

Berechtigungen. Ein RAG-System darf niemals mehr preisgeben, als die fragende Person ohnehin einsehen dürfte. Rollen- und Rechtekonzepte müssen bis in die Suche hinein greifen, nicht erst auf der Oberfläche.

Prompt. Die Systeminstruktion entscheidet, wie strikt sich das Modell an den gelieferten Kontext hält, wie es mit Unsicherheit umgeht und ob es bei fehlender Information eskaliert statt zu raten.

Monitoring. Auch ein gutes RAG-System liefert gelegentlich unpassende Antworten. Ein Feedback-Mechanismus – „stimmt" oder „stimmt nicht" – mit klar benanntem Content Owner sorgt dafür, dass Fehler korrigiert werden, statt sich zu wiederholen.

Wie diese vier Faktoren in einem konkreten Wissensmanagement-Aufbau zusammenspielen – von der Wissensbasis bis zum 90-Tage-Pilot –, beschreibt der Beitrag Wissensmanagement mit KI.

Wo RAG in der Praxis zum Einsatz kommt

RAG ist kein Selbstzweck, sondern immer die Antwort auf ein konkretes Auffindbarkeits-Problem. Typische Einsatzfelder: HR-Self-Service, wenn Mitarbeitende Fragen zu Urlaub, Reisekosten oder Benefits ohne Ticket beantwortet bekommen sollen. Verwaltungsauskünfte, wenn Bürgeranfragen oder interne Sachbearbeitung auf aktuelle Vorschriften und Merkblätter zugreifen müssen. Kundenservice, wenn Support-Anfragen auf Produktdokumentation und bisherige Ticket-Historien gestützt beantwortet werden sollen. Und interne Compliance-Fragen, bei denen eine falsche, aber überzeugend klingende Antwort teurer wird als gar keine Antwort. In allen vier Fällen gilt derselbe Grundsatz: Je enger die Wissensbasis auf den tatsächlichen Anwendungsfall zugeschnitten ist, desto zuverlässiger die Antworten – ein breites, unkuratiertes Dokumentenarchiv „als RAG" zu deklarieren, reicht nicht.

FAQ

Was bedeutet RAG bei KI-Systemen? RAG steht für Retrieval-Augmented Generation. Die KI sucht vor jeder Antwort passende Textstellen in einer geprüften Wissensbasis und formuliert die Antwort ausschließlich auf dieser Grundlage, mit Quellenangabe.

Warum reduziert RAG Halluzinationen? Weil das Modell nicht mehr frei aus Trainingsdaten antwortet, sondern an einen konkreten, mitgelieferten Kontext gebunden ist. Fehlt eine Information in der Wissensbasis, kann das System das erkennen, statt eine plausibel klingende, aber falsche Antwort zu erfinden.

Braucht jedes Unternehmen eine eigene Vektordatenbank für RAG? In der Regel ja, zumindest eine Form strukturierter, durchsuchbarer Wissensbasis. Die technische Umsetzung reicht von einfachen Lösungen bis zu komplexen Systemen – entscheidend ist weniger die Technik als die Datenqualität dahinter.

Ist RAG dasselbe wie Fine-Tuning eines Modells? Nein. Fine-Tuning verändert das Modell selbst durch zusätzliches Training. RAG lässt das Modell unverändert und ergänzt lediglich den Kontext bei jeder einzelnen Anfrage um aktuelle, geprüfte Informationen. RAG ist meist schneller einzurichten und leichter aktuell zu halten.

Kann RAG Halluzinationen vollständig ausschließen? Nein, aber deutlich reduzieren. Bleiben Datenstruktur, Berechtigungen, Prompt-Instruktion und Monitoring unsauber, sinkt auch bei RAG die Verlässlichkeit. Ein gut konfiguriertes System bleibt jedoch klar im Vorteil gegenüber einer Antwort ohne jede Quellenbindung.