ChatGPT, Claude und Gemini können erstaunlich viel. Ihre aktuelle Preisliste, das Handbuch Ihrer Maschine oder die interne Reisekostenrichtlinie kennen sie trotzdem nicht. Fragt ein Mitarbeiter danach, bekommt er im besten Fall eine allgemeine Antwort und im schlechtesten eine erfundene.
Ein RAG-System sucht vor jeder Antwort die passenden Stellen in Ihren eigenen Dokumenten heraus und gibt sie dem Sprachmodell mit. Die KI antwortet dann auf Basis Ihrer Unterlagen und kann sagen, woher die Information stammt. Dieser Beitrag erklärt, wie das technisch funktioniert, wann RAG die richtige Wahl ist und worauf es bei der Einführung im Unternehmen ankommt.
Was ist RAG?
RAG steht für Retrieval Augmented Generation. Gemeint ist eine Textgenerierung, die durch einen vorgeschalteten Abruf von Informationen ergänzt wird. Der Begriff geht auf eine Forschungsarbeit von Patrick Lewis und Kollegen aus dem Jahr 2020 zurück und ist seitdem zum Standardverfahren geworden, wenn Sprachmodelle mit eigenem Wissen arbeiten sollen.
Das Prinzip lässt sich mit einer Prüfung mit offenem Buch vergleichen. Das Sprachmodell muss Ihre Unterlagen nicht auswendig lernen. Es bekommt zu jeder Frage die relevanten Seiten aufgeschlagen hingelegt und formuliert daraus seine Antwort. Ändert sich eine Unterlage, wird sie neu eingelesen, ohne dass das Modell neu trainiert werden muss.
So funktioniert ein RAG-System
Eine RAG-Pipeline besteht aus zwei Teilen. Der erste läuft im Hintergrund und bereitet Ihre Dokumente vor, der zweite läuft bei jeder Frage.
Vorbereitung: Dokumente in eine durchsuchbare Wissensbasis bringen
Das System liest Ihre Quellen ein, etwa PDFs, Word-Dateien, Confluence-Seiten, Tickets, Produktdaten aus dem Shop oder Datensätze aus dem ERP.
Die Texte werden in kleinere Abschnitte zerlegt, im Fachjargon Chunks. Ein Abschnitt umfasst meist einige Absätze und behält Überschrift und Herkunft als Zusatzinformation.
Für jeden Abschnitt berechnet ein Embedding-Modell einen Zahlenvektor, der seine Bedeutung abbildet. Wie Embeddings funktionieren, erklären wir ausführlich in unserem Beitrag zur Vektor-Suche.
Abschnitte und Vektoren landen in einer Vektordatenbank. Das kann eine spezialisierte Datenbank sein oder eine Erweiterung eines Systems, das Sie schon betreiben.
Abfrage: passende Stellen finden und daraus antworten
Die Frage des Nutzers wird ebenfalls in einen Vektor umgerechnet.
Die Datenbank liefert die Abschnitte, deren Bedeutung der Frage am nächsten kommt. Gute Systeme kombinieren das mit einer klassischen Stichwortsuche, damit auch Artikelnummern und Fachbegriffe sicher gefunden werden.
Ein Reranking-Schritt sortiert die Treffer noch einmal nach Relevanz, sodass nur die besten Abschnitte weitergegeben werden.
Das Sprachmodell bekommt Frage und Abschnitte zusammen mit der Anweisung, nur auf dieser Grundlage zu antworten und die Quellen zu nennen.
Für den Nutzer sieht das aus wie ein normaler Chat. Der Unterschied steckt in der Antwort, die sich auf ein bestimmtes Dokument stützt und einen Link dorthin enthält.
RAG, Fine-Tuning oder alles in den Prompt?
Es gibt drei Wege, einem Sprachmodell eigenes Wissen mitzugeben. Sie schließen sich nicht aus, eignen sich aber für unterschiedliche Aufgaben.
RAG | Fine-Tuning | Alles in den Prompt | |
|---|---|---|---|
Wofür geeignet | Faktenwissen aus vielen Dokumenten | Stil, Format, wiederkehrende Aufgaben | Einzelne, kurze Dokumente |
Aktualität | Verfügbar, sobald neu eingelesen | Neues Training bei jeder Änderung | Sofort, solange alles in den Kontext passt |
Quellenangabe | Ja, pro Antwort | Nein | Eingeschränkt |
Zugriffsrechte | Pro Dokument steuerbar | Nicht steuerbar | Pro Anfrage steuerbar |
Kosten pro Anfrage | Gering, nur relevante Abschnitte | Gering | Hoch bei großen Dokumenten |
Für Wissen, das sich ändert und das Sie belegen wollen, ist RAG fast immer der richtige Ausgangspunkt. Fine-Tuning lohnt sich, wenn ein Modell eine bestimmte Aufgabe in einem festen Format sehr zuverlässig erledigen soll. Mehr dazu steht in unserem Leitfaden zum Fine-Tuning von KI-Modellen. Wie beides bei KI-Agenten zusammenspielt, zeigt der Beitrag zu feingetunten KI-Agenten im Mittelstand. Auch die großen Kontextfenster neuer Modelle machen RAG nicht überflüssig, denn bei tausenden Dokumenten wären Kosten und Antwortzeiten zu hoch, und die Quelle einer Aussage ließe sich schwer nachvollziehen.
Wofür Unternehmen RAG einsetzen
Eine interne Wissensdatenbank, die Fragen zu Prozessen, Richtlinien und Produkten beantwortet und auf das passende Dokument verweist.
Ein RAG-Chatbot im Kundenservice, der Anfragen auf Basis von Handbüchern, FAQ und früheren Tickets beantwortet oder Antwortentwürfe für Ihr Team schreibt.
Produktberatung im Onlineshop, die technische Datenblätter, Kompatibilitätslisten und Bewertungen kennt.
Unterstützung im Vertrieb, etwa beim Zusammenstellen von Angeboten aus Produktbeschreibungen, Referenzen und Preislisten.
Recherche in Verträgen, Normen und Projektdokumentationen, bei der jede Aussage mit Fundstelle belegt ist.
Worauf es bei einem RAG-System ankommt
Ein erster Prototyp ist schnell gebaut. Ob das System im Alltag hilft, entscheidet sich an ein paar Punkten, die in Demos selten zu sehen sind.
Datenqualität und Aufbereitung
Ein RAG-System kann nur so gut antworten wie die Dokumente, die es findet. Veraltete Fassungen, doppelte Dateien und eingescannte PDFs ohne Texterkennung führen zu schwachen Antworten. Tabellen, Aufzählungen und Überschriften brauchen eine eigene Behandlung beim Zerlegen, damit Zusammenhänge erhalten bleiben.
Zugriffsrechte
Im Unternehmen darf nicht jede Person jedes Dokument sehen. Das RAG-System muss die Rechte aus den Quellsystemen übernehmen und bei jeder Suche berücksichtigen. Sonst beantwortet der Chatbot Fragen zu Gehältern oder Verträgen, die der Fragende nie hätte lesen dürfen.
Aktualität
Ändert sich ein Dokument, muss auch die Wissensbasis nachziehen. Dafür binden wir die Quellen so an, dass neue und geänderte Inhalte automatisch eingelesen und gelöschte entfernt werden.
Messbare Qualität
Ob ein RAG-System gut funktioniert, lässt sich messen. Wir legen mit den Fachabteilungen eine Sammlung typischer Fragen mit erwarteten Antworten an und prüfen bei jeder Änderung, ob die richtigen Abschnitte gefunden werden und die Antwort stimmt.
RAG und DSGVO
Ein RAG-System verarbeitet oft genau die Daten, die besonders schützenswert sind: Kundendaten, Verträge, interne Dokumente. Für jeden Baustein lässt sich festlegen, wo er läuft.
Dokumente und Vektordatenbank lassen sich in einem Rechenzentrum in Deutschland betreiben, getrennt von den Systemen anderer Kunden.
Als Sprachmodell eignen sich Open-Weight-Modelle, die auf eigener Hardware laufen, oder Modelle großer Anbieter mit Verarbeitung in der EU und Auftragsverarbeitungsvertrag. Mehr dazu in unserem Leitfaden zum DSGVO-konformen KI-Hosting.
Protokolle über Fragen und genutzte Quellen helfen bei der Nachvollziehbarkeit und sollten ebenfalls in der EU gespeichert werden.
Mit BaseGPT haben wir eine eigene KI-Plattform mit Wissensbasis (RAG) entwickelt, die auf Ihrer eigenen Hardware oder in einem deutschen Rechenzentrum läuft.
So setzen wir RAG-Systeme um
Wenn eine Standardlösung nicht reicht, weil Daten aus mehreren Systemen kommen, Rechte fein gesteuert werden müssen oder die KI in bestehende Anwendungen eingebaut werden soll, entwickeln wir das RAG-System individuell. Wir beginnen mit einem klar abgegrenzten Anwendungsfall und einer Dokumentensammlung, messen die Qualität mit echten Fragen und erweitern das System danach Schritt für Schritt um weitere Quellen.
Wie wir eine Wissensdatenbank mit RAG für Ihre Handbücher, Tickets und Verträge aufbauen, lesen Sie auf unserer Seite zum KI-Data-Hub. Soll die KI in bestehende Anwendungen eingebaut werden, finden Sie mehr unter Individuelle KI. Wenn Sie schon einen konkreten Anwendungsfall im Kopf haben, erzählen Sie uns davon. Wir melden uns mit einer Einschätzung, welche Daten sich eignen und wie ein erster Schritt aussehen kann.
Alexander Schikowsky · 12.10.2026