Was ist RAG (Retrieval-Augmented Generation)?

RAG ist ein Verfahren, bei dem eine KI vor dem Antworten zuerst in deinen eigenen Dokumenten sucht und nur die gefundenen, relevanten Ausschnitte als Grundlage verwendet. So beantwortet sie Fragen mit belegbarem Firmenwissen und Quellenangabe, statt frei aus dem Trainingswissen zu raten.

Brauche ich für Wissenssuche teure Vektor-Embeddings?

Nicht zwangsläufig. Für einen Dokumentenbestand mit klarer Fachsprache reicht oft die eingebaute Volltextsuche (FTS5/BM25), ohne API-Schlüssel, ohne laufende Kosten und ohne dass Daten das Haus verlassen. Vektor-Embeddings lohnen sich, wenn Nutzer nicht die exakten Begriffe treffen.

Ist RAG mit Firmendokumenten datensparsam umsetzbar?

Ja. Die Dokumente und die Suche können lokal bleiben, während an das Sprachmodell pro Anfrage nur der nötige Ausschnitt geht. Berechtigungen und Logging machen Zugriffe nachvollziehbar. Ob ein konkretes System alle rechtlichen Anforderungen erfüllt, hängt zusätzlich vom Einsatzfall und den gewählten Anbietern ab.

RAG richtig gemacht: Wissenssuche mit Quellen statt Blackbox-Chatbot

Ein Chatbot, der aus dem Nichts antwortet, ist für einen Betrieb wertlos, und riskant. RAG (Retrieval-Augmented Generation) setzt genau dort an: Die KI sucht vor dem Antworten in deinen eigenen Dokumenten und nutzt die gefundenen Ausschnitte als Grundlage. Das Ergebnis nennt prüfbare Quellen, statt nur eine selbstsichere Behauptung zu liefern. Dieser Beitrag zeigt, wie man RAG so baut, dass es im Alltag trägt, und dabei datensparsam bleibt.

Bildschirmfoto einer semantischen Suche über eine Rechtsdatenbank aus 24.800 Gesetzes-Fragmenten: oben ein Suchfeld mit dem Begriff „Datenschutz“, Filter für Jurisdiktion (AT, EU, INT) und Sprache. Darunter zwanzig Fundstellen als Karten, jede mit Fundstellen-Kennung, Gesetzestitel, zitiertem Textauszug, dem Verweis „Quelle öffnen“ und der Lizenzangabe CC BY 4.0. — Bildschirmfoto einer eigenen, nicht öffentlichen Anwendung, kein KI-generiertes Bild. Die angezeigten Rechtstexte stammen aus offenen Datenquellen und stehen unter CC BY 4.0; kein Kundensystem und keine Kundendokumente. Oberfläche © 2026 Tim Witter.

Das Problem mit dem nackten Chatbot

Ein Sprachmodell ohne angebundenes Wissen kennt deinen Betrieb nicht. Es rät auf Basis seines Trainings, und formuliert Falsches genauso überzeugend wie Richtiges. Für interne Wissensfragen („Was steht in unserem Wartungsvertrag mit Kunde X?“) ist das unbrauchbar. Man bekommt eine flüssige Antwort, der man nicht trauen kann.

RAG dreht den Ablauf um: erst suchen, dann antworten. Die KI bekommt nur echte, belegte Textstellen aus deinen Dokumenten vorgelegt und formuliert daraus die Antwort, mit Verweis auf die Quelle.

Wie RAG konkret funktioniert

Der Ablauf hat drei Schritte:

Indexieren. Deine Dokumente werden zerlegt und in eine durchsuchbare Datenbank geschrieben, einmalig und bei jeder Änderung.
Suchen (Retrieval). Kommt eine Frage, sucht das System die passendsten Textstellen heraus. Hier trennen sich zwei Verfahren, dazu gleich mehr.
Antworten (Generation). Die gefundenen Stellen gehen zusammen mit der Frage an das Sprachmodell, das daraus eine Antwort mit Quellenangabe formuliert.

Der entscheidende Punkt: An das Modell geht nicht dein ganzer Datenbestand, sondern nur der kleine, relevante Ausschnitt pro Anfrage. Das ist gut für die Antwortqualität, und gut für den Datenschutz.

Volltextsuche oder Vektor-Suche? Beides hat seinen Platz

Für den Retrieval-Schritt gibt es zwei Wege, und die Wahl entscheidet über Kosten und Datenschutz:

Volltextsuche (FTS5/BM25), die eingebaute Suche von SQLite, ganz ohne externes Modell oder API-Schlüssel. Sie findet, was wörtlich dasteht: Aktenzeichen, Produktnamen, Fachbegriffe. Schnell, kostenlos, und die Daten verlassen die Maschine nie. In meiner eigenen Agenten-Flotte laufen mehrere Agenten genau so.

Vektor-Suche (Embeddings), Text wird in Zahlenvektoren übersetzt, sodass auch sinnverwandte Formulierungen gefunden werden, selbst wenn der Nutzer andere Wörter benutzt als das Dokument. Das braucht ein Embedding-Modell (ich nutze bge-m3), lohnt sich aber überall dort, wo die Fragen unscharf sind.

Die praktische Lehre: Man greift nicht reflexartig zu teuren Embeddings. Für einen Bestand mit klarer Fachsprache ist die Volltextsuche oft die bessere Wahl, günstiger, einfacher und ohne dass Daten das Haus verlassen. Oft ist auch eine Kombination aus beidem die stärkste Lösung.

Ohne Leitplanken kein Vertrauen

RAG macht die verwendete Quellengrundlage prüfbar, aber vertrauenswürdig wird das System erst durch drei Regeln:

Quellenangabe bei jeder Antwort: Man sieht, aus welchem Dokument sie stammt, und kann es prüfen.
Berechtigungen: Ein Mitarbeiter bekommt nur Antworten aus Dokumenten, die er sehen darf. Die Suche respektiert Rollen, statt alles für alle zu öffnen.
Logging: Jede Anfrage ist nachvollziehbar. Man sieht, was gefragt und beantwortet wurde.

Diese drei Punkte trennen eine Wissenssuche, der ein Betrieb vertraut, von einem Blackbox-Chatbot, den man ständig kontrollieren muss.

Datenschutz ist eine Bauentscheidung, kein Nachtrag

Datenschutz entscheidet sich beim Bauen, nicht erst danach. Wenn die Dokumente lokal bleiben, die Suche auf deiner Maschine läuft und an das Modell pro Anfrage nur der nötige Ausschnitt geht, bleibt der Datenfluss begrenzt und nachvollziehbar. Je nach Anforderung lässt sich das Modell selbst hosten oder auf Anbieter mit passenden Datenschutz-Bedingungen begrenzen. Berechtigungen und Logging sind Teil des Fundaments; die rechtliche Bewertung hängt zusätzlich vom konkreten Einsatzfall ab.

Genau so baue ich KI & Automatisierung: Wissenssuche, die belegbar, berechtigt und nachvollziehbar ist. Wenn du einen Dokumentenbestand hast, den dein Team ständig durchforstet, erzähl mir davon, und ich sage dir, welches Verfahren dafür passt.