RAG einfach erklärt: KI mit Firmendaten

RAG, kurz für Retrieval Augmented Generation, ist einfach erklärt: Bevor ein Sprachmodell antwortet, sucht ein Programm in Ihren eigenen Dokumenten die passenden Stellen und legt sie dem Modell zusammen mit der Frage vor. Das Modell formuliert die Antwort aus diesen Stellen und nennt die Quelle. Neu trainiert wird es dafür nicht.

Der Umweg ist nötig, weil ein Sprachmodell nur kennt, was in seinen Trainingsdaten stand. Ihr Betriebshandbuch und Ihre Preislisten gehören nicht dazu. Fragt man trotzdem danach, antwortet es allgemein oder rät. RAG schließt diese Lücke, ohne dass Sie ein eigenes Modell brauchen. Wie wir solche Lösungen planen und bauen, beschreibt die Seite KI mit eigenen Daten.

Was bedeutet RAG, einfach erklärt?

Stellen Sie sich eine neue Kollegin vor, die schnell begreift und gut formuliert, Ihren Betrieb aber noch nicht kennt. Auf die Frage nach der Kündigungsfrist im Wartungsvertrag kann sie nur raten. Legen Sie ihr vorher die zwei richtigen Seiten aus dem Vertragsordner hin, antwortet sie zutreffend und kann zeigen, wo es steht.

Ein RAG-System macht dasselbe mit einem Sprachmodell. Der Name beschreibt den Ablauf: Retrieval ist das Heraussuchen der Stellen, Generation das Formulieren der Antwort. Augmented heißt, dass die Frage um die gefundenen Stellen ergänzt wird. Der Begriff geht auf eine Forschungsarbeit aus dem Jahr 2020 zurück.

Das Wissen steckt weiter in Ihren Dokumenten und nicht im Modell. Ändert sich ein Dokument, wird der Suchindex aktualisiert, das Modell bleibt unverändert. Weil jede Antwort aus vorgelegten Stellen entsteht, lässt sich nachvollziehen, worauf sie beruht.

Wie läuft das Schritt für Schritt ab?

Ein RAG-System arbeitet in zwei Phasen. Die Vorbereitung läuft einmal und danach bei jeder Änderung am Bestand:

1. Dokumente einlesen. Das System liest die festgelegten Quellen, etwa PDF-Dateien und Wiki-Seiten, und zieht den Text heraus.
2. In Abschnitte teilen. Jedes Dokument wird in Abschnitte von wenigen Absätzen zerlegt. Jeder Abschnitt merkt sich, aus welchem Dokument und von welcher Stelle er stammt.
3. Index aufbauen. Für jeden Abschnitt entsteht eine Einbettung: eine Zahlenreihe, die seine Bedeutung beschreibt. Inhaltlich ähnliche Abschnitte liegen rechnerisch nah beieinander. Oft kommt ein gewöhnlicher Stichwortindex dazu.

Bei jeder Frage geht es so weiter:

4. Suchen. Die Frage wird ebenfalls in eine Zahlenreihe übersetzt. Das System holt die Abschnitte, die ihr am nächsten liegen. Was die fragende Person nicht sehen darf, muss es dabei weglassen.
5. Vorlegen. Frage und gefundene Abschnitte gehen zusammen an das Sprachmodell. Dazu kommt die Anweisung, nur aus diesen Abschnitten zu antworten und offen zu sagen, wenn dort nichts steht.
6. Antworten mit Quelle. Das Modell formuliert die Antwort und verweist auf Dokument und Abschnitt. Wer zweifelt, öffnet die Quelle und liest nach.

Über die Qualität entscheidet vor allem der vierte Schritt. Findet die Suche die falschen Abschnitte, hilft auch das beste Modell nicht.

Wann reicht eine einfache Suche?

RAG ist nicht für jede Aufgabe der richtige Weg. Oft ist eine schlichtere Lösung schneller eingerichtet und leichter zu pflegen. Die Tabelle ordnet die üblichen Wege.

Weg	Passt, wenn	Grenze
Einfache Suche	Der Begriff ist bekannt, gesucht wird das Dokument.	Findet nur den Wortlaut, fasst nichts zusammen.
Datei im Chat	Es geht um ein einzelnes Dokument.	Jedes Mal Handarbeit, kein gemeinsamer Bestand.
RAG	Viele Dokumente, Fragen in eigenen Worten.	Nur so gut wie Bestand und Suche. Zählt und rechnet unzuverlässig.
Fachsystem anbinden	Die Antwort steht in Datensätzen, etwa in Aufträgen.	Braucht Schnittstelle und Rechtekonzept.
Feintuning	Ton oder Format der Antworten sollen sich dauerhaft ändern.	Liefert kein aktuelles Wissen und keine Quelle.

Eine einfache Suche reicht, wenn Ihre Mitarbeitenden die Begriffe kennen und das Dokument selbst brauchen, keine zusammengefasste Antwort. Das gilt besonders für exakte Angaben wie Artikelnummern: Die findet eine Volltextsuche sicherer als eine Bedeutungssuche. Bei einem kleinen, gut sortierten Bestand führt der Griff in den richtigen Ordner ohnehin am schnellsten zum Ziel.

Steht die Antwort in einer Datenbank, ist RAG ebenfalls der falsche Weg. Welche Aufträge nächste Woche offen sind, weiß das Fachsystem. Dafür braucht der Assistent einen Zugang über eine Schnittstelle, zum Beispiel über einen MCP-Server.

RAG lohnt sich, wenn der Bestand groß ist und Menschen in eigenen Worten fragen. Typisch sind Handbücher und Arbeitsanweisungen, die bisher nur wenige im Betrieb wirklich kennen.

Wo liegen die Grenzen von RAG?

Veraltete Quellen

Das System erkennt nicht von selbst, welche Preisliste gilt und welche aus dem Vorjahr stammt. Liegen beide im Bestand, kann die alte in der Antwort landen. Es braucht deshalb eine klare Regel, welche Fassung gilt, und einen Index, der bei jeder Änderung nachzieht. Gelöschte Dokumente müssen auch aus dem Index verschwinden.

Zugriffsrechte

Ein Assistent, der alles durchsucht, zeigt auch alles, die Gehaltsliste ebenso wie die Kalkulation. Rechte müssen deshalb schon in der Suche greifen und nicht erst in der Anzeige. Jeder Abschnitt trägt die Berechtigung seines Dokuments, und die Suche liefert nur, was die angemeldete Person ohnehin öffnen dürfte.

Denselben Grundsatz haben wir in der Betriebsplattform für einen Dachdeckerbetrieb umgesetzt. Die KI-Anbindung dort durchsucht keine Dokumente, sie ist eine Schnittstelle zum Fachsystem. Sie erhält die Rechte des angemeldeten Mitarbeiters. Eine Funktion, für die sein Konto kein Recht hat, wird der KI gar nicht erst angeboten.

Qualität der Dokumente

Gescannte Seiten ohne Texterkennung findet die Suche nicht, ebenso wenig Tabellen, die nur als Bild vorliegen. Wissen, das nirgends aufgeschrieben ist, fehlt ganz. Widersprechen sich zwei Dokumente, gibt das System den Widerspruch weiter. Vor dem Start steht deshalb meist Aufräumarbeit: Dubletten entfernen und Entwürfe von gültigen Fassungen trennen.

Zählen und Rechnen

RAG holt je Frage nur einige passende Abschnitte. Den ganzen Bestand sieht das Modell nie. Eine Frage wie „Wie viele Verträge laufen nächstes Jahr aus?“ beantwortet es deshalb unzuverlässig.

Auch Summen gehören nicht in die Hand eines Sprachmodells. In der genannten Betriebsplattform haben wir das getrennt: Ein Sprachmodell liest die Positionen aus Ausschreibung und Angebot. Die Geldbeträge rechnet das System nach festen Regeln und prüft sie gegen die Summen des Angebots. Geht die Prüfung nicht auf, gibt es kein Ergebnis aus.

Quellenangaben

Eine Quellenangabe ist keine Garantie. Das Modell kann eine Stelle ungenau wiedergeben. Der Vorteil von RAG liegt darin, dass sich das am Dokument prüfen lässt.

Was braucht ein RAG-System im Betrieb?

Die Technik ist selten das Schwierige. Vier Dinge sollten vor dem Start geklärt sein:

• Ein abgegrenzter Bestand. Welche Ordner gehören dazu, und wer pflegt sie.
• Eine laufende Aktualisierung. Neue und geänderte Dokumente kommen ohne Handarbeit in den Index.
• Testfragen. Eine Liste echter Fragen aus dem Alltag mit bekannter richtiger Antwort. Daran wird jede Änderung am System gemessen.
• Der Verarbeitungsort. Einbettungen und Antworten können bei einem Anbieter oder auf eigener Hardware entstehen. Arbeitet das Modell bei einem Anbieter, gehen Frage und gefundene Abschnitte dorthin. Was davor zu klären ist, steht in der Checkliste zu KI und DSGVO.

Was haben wir selbst gebaut?

Unsere Erfahrung mit RAG stammt bisher aus eigenen Vorhaben. Eines davon war ein interner Prototyp: ein Recherche-Assistent über eine kuratierte Wissensbasis. Drei Entscheidungen daraus würden wir wieder so treffen.

Die Suche kombinierte Stichwörter und Vektoren. Die Stichwortsuche trifft exakte Begriffe wie Artikelnummern oder Eigennamen. Die Vektorsuche findet Stellen, die dasselbe meinen, aber anders formuliert sind. Jede für sich lässt Treffer liegen.

Die Einbettungen entstanden lokal. Für das Indexieren ging kein Dokument an einen fremden Dienst.

Jede Antwort nannte ihre Quellen. So ließ sich jede Aussage am Dokument prüfen.

In unserer Lernplattform KeinBock.io ist dieselbe Technik eingebaut: Zu einer Anfrage werden die passenden Abschnitte aus hochgeladenen Unterlagen herausgesucht. Eine eigene Vektordatenbank gibt es dort nicht. Die Einbettungen liegen in der normalen Datenbank, die Ähnlichkeit rechnet die Anwendung. Anders als im Prototyp berechnet die Einbettungen dort der Dienst eines Anbieters. Für überschaubare Bestände ist das einfacher zu betreiben als ein zusätzliches System.

Nächster Schritt

Sammeln Sie etwa zehn echte Fragen aus dem Alltag und die Dokumente, in denen die Antworten stehen. Daran zeigt sich, ob RAG passt oder eine einfache Suche genügt. Was wir dafür anbieten, steht unter KI mit eigenen Daten.