RAG erklärt
Wie KI mit Ihren Unternehmensdaten antwortet
Ein allgemeines Sprachmodell kennt Ihre Handbücher, Preislisten und Prozessbeschreibungen nicht. RAG gibt ihm vor der Antwort die passenden Textstellen aus Ihren Dokumenten mit. Dieser Ratgeber erklärt das Verfahren, vergleicht es mit Feinabstimmung und einem einfachen Chatbot und nennt Grenzen und Datenschutzfragen.
Kurz gesagt: RAG steht für Retrieval-Augmented Generation. Das System sucht zu einer Frage zuerst passende Stellen in Ihren Dokumenten und lässt eine KI daraus eine Antwort formulieren, meist mit Quellenangabe. So kann eine KI auf Firmenwissen zugreifen, ohne neu trainiert zu werden. Fehler bleiben möglich, die Qualität hängt von Ihren Dokumenten und der Suche ab.
Das Problem, das RAG löst
Ein allgemeines Sprachmodell antwortet aus dem, was es beim Training gelernt hat. Ihre Preislisten, Arbeitsanweisungen und Reklamationsfristen gehören nicht dazu. Das Modell kann dann plausibel klingende, aber falsche Aussagen erzeugen. Für betriebliche Fragen ist das ein Problem, etwa bei der Frage, wie eine Maschine neu gestartet wird oder welche Frist für Reklamationen gilt.
RAG gibt dem Modell die passenden Textstellen mit, bevor es antwortet. Das Modell formuliert dann auf der Grundlage dieser Stellen. Die Grundidee stammt aus der Forschung: Lewis und andere beschreiben in einer Arbeit von 2020 ein Verfahren, das ein Sprachmodell mit einem abrufbaren Dokumentenbestand kombiniert (siehe Quellen).
So funktioniert RAG in drei Schritten
Vorab werden die Dokumente aufbereitet: in Abschnitte zerlegt und so abgelegt, dass die Suche inhaltlich ähnliche Stellen findet und nicht nur identische Wörter. Danach läuft bei jeder Frage derselbe Ablauf. Die Beschreibung ist vereinfacht und lässt technische Einzelheiten wie Nachsortierung oder kombinierte Suchverfahren weg.
Abruf: passende Textstellen finden
Die Frage wird mit den hinterlegten Dokumenten verglichen. Dafür liegen die Dokumente vorab in Abschnitte zerlegt und durchsuchbar vor. Die inhaltlich besten Treffer werden ausgewählt, auch wenn sie andere Wörter verwenden als die Frage.
Anreicherung: Treffer als Kontext mitgeben
Die gefundenen Abschnitte werden zusammen mit der Frage an das Sprachmodell übergeben. Das Modell bekommt damit genau die Stellen vorgelegt, auf die sich seine Antwort stützen soll.
Generierung: Antwort formulieren
Das Sprachmodell formuliert die Antwort auf Grundlage der mitgegebenen Stellen und nennt, wenn so eingerichtet, die Fundstelle. Das Modell selbst bleibt dabei unverändert und wird nicht mit Ihren Dokumenten trainiert.
RAG, Feinabstimmung und einfacher Chatbot im Vergleich
| Ansatz | Wissen kommt aus | Aktualisierung | Stärke | Schwäche |
|---|---|---|---|---|
| Allgemeiner Chatbot | Trainingsdaten des Modells | Nicht durch Sie | Breites Allgemeinwissen | Kennt Ihre Interna nicht |
| RAG | Ihre Dokumente, zur Laufzeit abgerufen | Dokumente austauschen | Aktuelles Firmenwissen, Quellenangabe möglich | Antwort nur so gut wie Dokumente und Suche |
| Feinabstimmung (Fine-Tuning) | Weiteres Training des Modells mit eigenen Daten | Neues Training nötig | Stil und Fachsprache | Aufwendig, die Herkunft einer Aussage lässt sich schwerer belegen |
Für betriebliche Wissensfragen ist RAG häufig der naheliegende Weg. Das ist eine Einordnung und keine Regel: Bei besonderen Anforderungen kann eine Kombination sinnvoll sein.
Typische Einsatzfälle im Mittelstand
Interner Wissensassistent
Mitarbeitende fragen nach Handbüchern, Arbeitsanweisungen und Prozessen und erhalten Antworten mit Fundstelle. Ein Beispiel aus dem Katalog ist der KI-Wissensassistent.
Chatbot auf der Website
Besucher erhalten Antworten aus den Produkt- und FAQ-Inhalten, die Sie freigeben. Ein Beispiel aus dem Katalog ist der KI-Chatbot mit Produktwissen. Der Chatbot auf bot-agent.de durchsucht Inhalte der eigenen Website und des Blogs.
Unterstützung im Kundenservice
Mitarbeitende erhalten Textvorschläge auf Basis bisheriger Antworten und der Produktdokumentation und entscheiden selbst, was versendet wird.
Suche in Textbausteinen
Leistungsbeschreibungen, Angebotsbausteine und Vertragsklauseln lassen sich inhaltlich durchsuchen, statt nur nach Stichwörtern.
Grenzen und typische Fehlerquellen
RAG verringert das Risiko erfundener Antworten, schließt es aber nicht aus. Bei sicherheits-, rechts- oder haftungsrelevanten Angaben bleibt das Original maßgeblich.
| Fehlerquelle | Wirkung | Gegenmaßnahme |
|---|---|---|
| Veraltete Dokumente | Die Antwort stimmt nicht mehr | Zuständigkeit und Pflegerhythmus festlegen |
| Lücken im Bestand | Das System rät oder weicht aus | Bei fehlender Fundstelle eine Antwort wie „dazu liegt nichts vor“ ausgeben lassen |
| Schlechte Dokumentqualität (Scans, Tabellen) | Falsche Zuordnung von Aussagen | Aufbereitung prüfen, Stichproben ziehen |
| Widersprüchliche Quellen | Uneinheitliche Antworten | Eine maßgebliche Fassung festlegen |
| Zu breite Zugriffsrechte | Vertrauliche Inhalte werden für Unberechtigte sichtbar | Rechte der Dokumente beim Abruf berücksichtigen |
| Eingeschleuste Anweisungen in Dokumenten | Das Modell folgt unerwünschten Befehlen | Quellen kontrollieren, Ausgaben und Aktionen begrenzen |
| Falsche Details trotz Quelle | Falsche Aussage mit scheinbar belegter Fundstelle | Stichproben, bei wichtigen Angaben das Original prüfen |
Datenschutz bei Unternehmensdaten
Ob RAG zulässig eingesetzt werden kann, hängt davon ab, welche Daten in der Wissensbasis liegen und wohin sie fließen. Die folgenden Punkte sind eine Orientierung und keine Prüfung Ihres Einzelfalls.
Personenbezogene Daten in Dokumenten
Mails, Chat-Verläufe, Personalunterlagen und Kundenlisten enthalten sie. Solche Bestände gehören nicht ohne Prüfung in eine Wissensbasis (Art. 5, 6 DSGVO).
Auftragsverarbeitung (Art. 28 DSGVO)
Verarbeitet ein Anbieter Texte in Ihrem Auftrag, ist ein Vertrag nach Art. 28 DSGVO nötig. Unterauftragnehmer und Serverstandorte gehören zur Prüfung, ebenso die Frage, ob Eingaben zu Trainingszwecken verwendet werden.
Schutzmaßnahmen (Art. 32 DSGVO)
Zugriffsrechte, Protokollierung und Löschkonzept sind für den konkreten Einsatz festzulegen. Gelöschte Dokumente müssen auch aus dem Suchindex verschwinden.
Übermittlung in Drittländer
Wohin Texte und Anfragen fließen, ist zu klären (Art. 44 ff. DSGVO).
Beschäftigtendaten
Werden Mitarbeitende ausgewertet oder ihre Nutzung protokolliert, gelten Sonderregeln des Beschäftigtendatenschutzes und gegebenenfalls Mitbestimmungsrechte.
Kennzeichnung als KI
Wer direkt mit einem KI-System interagiert, soll das grundsätzlich erkennen können (Art. 50 Abs. 1 KI-Verordnung, seit dem 2. August 2026 anwendbar).
RAG an bestehende Systeme anbinden
Ein Wissensassistent ist selten eine Insel. Wichtig sind klare Berechtigungen (wer sieht was), ein Protokoll (wer hat was gefragt) und eine Regel für Fehlerfälle, etwa wenn der Dienst nicht erreichbar ist oder keine Fundstelle vorliegt.
| Weg | Beschreibung | Beispiel |
|---|---|---|
| Datei | Dokumente werden aus einem Ordner oder einer Ablage eingelesen | PDFs aus der Dokumentenablage |
| Schnittstelle (API) | Ein System fragt den Assistenten oder liefert Inhalte automatisch | Ein CRM zeigt einen Antwortvorschlag an |
| Chat und Website | Der Assistent erscheint dort, wo gefragt wird | Website-Widget, Team-Chat (je nach Umgebung zu prüfen) |
Wo eine Software keine Schnittstelle bietet, ist der Aufwand höher und im Einzelfall zu prüfen.
Welche Faktoren den Aufwand bestimmen
Aufwand und laufende Kosten hängen unter anderem vom Umfang und Zustand der Dokumente ab, von der Häufigkeit der Aktualisierung, der Zahl der Anbindungen und Berechtigungsebenen, dem Nutzungsvolumen sowie den Anforderungen an Datenschutz und Dokumentation. Hinzu kommt der Aufwand für Tests und Stichproben. Pauschale Zeit- oder Kostenversprechen lassen sich daraus nicht ableiten.
Angaben zu Katalogleistungen finden Sie in der Preisübersicht. Der Ratgeber zur KI-Automatisierung im Mittelstand beschreibt, wie aus Abläufen Automatisierungen werden.
Primärquellen und Stand
- Lewis et al.: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, 2020 (arXiv:2005.11401)
- Datenschutz-Grundverordnung: insbesondere Art. 5, 6, 28, 32 und 44 ff.
- Verordnung (EU) 2024/1689: insbesondere Art. 50
- AI Act Service Desk der Europäischen Kommission: Art. 50
- Datenschutzkonferenz: Künstliche Intelligenz und Datenschutz, Version 1.0 vom 6. Mai 2024
Stand der Prüfung: 14. Oktober 2026. Keine Rechtsberatung.
Weiterführend
- KI-Wissensassistent: Antworten aus eigenen Dokumenten mit Quellenangabe
- KI-Chatbot mit Produktwissen: Fragen von Website-Besuchern
- KI und DSGVO im Unternehmen: Prüfliste vor dem Einsatz
- KI-Automatisierung im Mittelstand
- Chatbot im Kundenservice
- KI-Transparenz bei Bot-Agent
- Preisübersicht
Über den Verfasser
Stanislav Tonkich, Geschäftsführer der DigMa Systems UG (haftungsbeschränkt). Veröffentlicht und aktualisiert am 14. Oktober 2026. Der Verfasser ist kein Rechtsanwalt. Der Datenschutzteil dieser Seite ist allgemeine Information auf Grundlage der genannten Primärquellen und keine Rechtsberatung. Für Ihren Einzelfall wenden Sie sich an Datenschutzbeauftragte oder Rechtsanwälte.
Mehr dazu im Bot-Agent Blog
Häufige Fragen zu RAG
Vorhandenen Chatbot prüfen
Der kostenlose Chatbot-Check untersucht sichtbare Hinweise auf Ihrer Website, etwa die Kennzeichnung als KI. Das Ergebnis ist eine automatisierte Orientierung und keine rechtliche Einzelfallprüfung.
Passende Automatisierungen & weiterführende Themen
Autor: Stanislav Tonkich. Stand: 14. Oktober 2026. Allgemeine Information, keine Rechtsberatung.