Es gibt eine Frage, die in fast jedem Erstgespräch fällt: „Und woher weiß die KI das jetzt?"
Sie ist berechtigt. Und sie ist der Grund, warum in Unternehmen kaum etwas so schnell Vertrauen zerstört wie eine KI, die selbstbewusst etwas Falsches behauptet. Wer einmal erlebt hat, wie ein Mitarbeiter eine erfundene Zahl in ein Angebot übernimmt, führt danach eine Diskussion, die mit Technik nichts mehr zu tun hat.
RAG ist die Antwort der Branche auf genau dieses Problem. Der Begriff steht für Retrieval-Augmented Generation, was niemandem weiterhilft. Deshalb hier der Versuch einer Erklärung ohne Fachvortrag.
Der Unterschied: Gedächtnis oder Nachschlagen
Ein Sprachmodell wie ChatGPT hat einmal sehr viel Text gelesen und daraus ein Sprachgefühl entwickelt. Wenn Sie ihm eine Frage stellen, antwortet es aus diesem Gedächtnis heraus. Das funktioniert erstaunlich gut für allgemeine Fragen — und es funktioniert prinzipiell nicht für Ihre Reisekostenrichtlinie, denn die stand in keinem Trainingstext.
Was passiert dann? Das Modell schweigt nicht. Es formuliert eine Reisekostenrichtlinie, wie sie üblicherweise aussieht. Sprachlich einwandfrei, inhaltlich erfunden.
RAG dreht die Reihenfolge um. Bevor das Sprachmodell überhaupt etwas sagen darf, wird in Ihren Dokumenten nachgeschlagen. Die gefundenen Textstellen werden ihm vorgelegt, zusammen mit einer klaren Anweisung: Antworte ausschließlich hieraus.
Das Modell wechselt damit die Rolle. Es ist nicht mehr die Wissensquelle, sondern der Formulierer. Das Wissen kommt aus Ihrem Bestand.
Der Ablauf in drei Schritten
Erstens wird gesucht. Ihre Frage geht zunächst an eine Suche über Ihren Dokumentenbestand. Diese Suche arbeitet nicht über Stichwörter, sondern über Bedeutung — sie findet zu „Wie viele Tage Homeoffice darf ich nehmen?" auch einen Abschnitt, in dem von „mobilem Arbeiten" die Rede ist und das Wort Homeoffice überhaupt nicht vorkommt.
Das ist der praktisch wichtigste Unterschied zur Volltextsuche im Dateiexplorer. Ihre Mitarbeiter müssen nicht mehr raten, welches Wort der Verfasser damals gewählt hat.
Zweitens wird angereichert. Die relevantesten Fundstellen werden der Frage beigelegt. Nicht das ganze Dokument, sondern die Passagen, um die es geht.
Drittens wird formuliert. Jetzt erst kommt das Sprachmodell zum Zug. Es liest die Fundstellen und macht daraus eine zusammenhängende Antwort — mit dem Verweis, aus welchem Dokument sie stammt.
Dieser dritte Schritt ist der Grund, warum sich RAG von einer besseren Suchmaschine unterscheidet. Sie bekommen nicht zwölf Treffer, die Sie selbst lesen müssen. Sie bekommen eine Antwort, die aus den zwölf Treffern das Relevante zusammenführt — und den Verweis, falls Sie nachschlagen wollen.
Warum das für Unternehmen die entscheidende Bauweise ist
Sie können nachprüfen. Jede Antwort trägt ihre Herkunft mit sich. Das klingt nach einer Kleinigkeit, verändert aber die Nutzung grundlegend: Ihre Mitarbeiter müssen der KI nicht glauben, sie können nachschauen. Und in dem Moment, in dem eine Aussage in ein Angebot, einen Schriftsatz oder eine Kundenmail wandert, ist genau das der Unterschied zwischen brauchbar und unbrauchbar.
Neue Dokumente wirken sofort. Eine Richtlinie wird geändert, das Dokument wird eingelesen, die nächste Frage berücksichtigt sie. Es muss nichts trainiert werden. Modelltraining wäre teuer, würde Wochen dauern und müsste bei jeder Änderung wiederholt werden — für den laufenden Betrieb eines Mittelständlers ist das keine Option.
Zugriffsrechte funktionieren weiter. Weil bei jeder Frage neu gesucht wird, lässt sich festlegen, in welchen Dokumenten überhaupt gesucht werden darf. Die Personalabteilung sieht Personalakten, der Vertrieb nicht. Bei einem trainierten Modell ginge das nicht: Dort ist das Wissen untrennbar in den Modellgewichten verteilt, und aus Modellgewichten kann man nichts wieder herausnehmen.
Dieser Punkt wird regelmäßig unterschätzt. Er ist der Grund, warum „Wir trainieren einfach ein eigenes Modell mit unseren Daten" fast immer die schlechtere Idee ist — ganz unabhängig von den Kosten.
Der Anlass zum Halluzinieren entfällt weitgehend. Eine KI erfindet vor allem dann, wenn sie nichts weiß und trotzdem antworten soll. Bekommt sie die passenden Fundstellen vorgelegt, gibt es nichts zu erfinden. Ganz verschwindet das Risiko nicht — deshalb bleiben die Quellenangaben wichtig, auch bei einem gut gebauten System.
Was RAG nicht kann
Hier wird es unbequem, und dieser Teil fehlt in den meisten Anbieterbroschüren.
RAG repariert Ihre Dokumente nicht. Es findet, was da ist — auch das Falsche. Wenn zwei Dokumente widersprüchliche Homeoffice-Regelungen enthalten, findet das System beide und zitiert beide. Ihr Mitarbeiter ist danach verwirrter als vorher.
Das ist kein Fehler des Systems. Es ist ein Fehler in Ihrer Ablage, der vorher nur niemandem aufgefallen ist, weil ihn nie jemand gleichzeitig gesehen hat.
Genauso wenig kann RAG finden, was nirgends steht. Das berühmte „Das machen wir hier immer so", das seit fünfzehn Jahren im Kopf eines Kollegen wohnt und in keinem Dokument auftaucht, bleibt unauffindbar. Die Einführung eines solchen Systems legt schonungslos offen, wie viel Betriebswissen nie aufgeschrieben wurde.
Die praktische Konsequenz: Die Qualität Ihrer Dokumente entscheidet stärker über das Ergebnis als die Wahl des Sprachmodells. Wer sein Budget in das größte verfügbare Modell steckt und die Dokumentenpflege überspringt, hat teuer eingekauft und wenig gewonnen.
Warum RAG gerade für den Mittelstand passt
Großunternehmen können sich Experimente leisten. Der Mittelstand nicht — kein Budget für gescheiterte Pilotprojekte, keine Kapazität für Eigenentwicklungen, keine Data-Science-Abteilung.
RAG passt in diese Lage, weil es ohne Vorlaufinvestition auskommt. Kein Training, keine Modellentwicklung, keine Umstrukturierung der Ablage. Sie binden an, was Sie haben, und fragen. Das ist auch der Grund, warum spezialisierte Lösungen für einen klaren Anwendungsfall so viel häufiger funktionieren als der Versuch, ein Universalwerkzeug im Unternehmen zu etablieren.
Dazu kommt ein Aspekt, der in Deutschland schwerer wiegt als anderswo: Weil RAG das Wissen nicht ins Modell schreibt, sondern daneben liegen lässt, bleibt es löschbar. Ein Dokument entfernen heißt: Es taucht in keiner Antwort mehr auf. Bei einem trainierten Modell gilt das nicht — und spätestens beim Löschersuchen nach Art. 17 DSGVO wird das zum Problem.
Und der Datenschutz?
Die Frage, wo die Verarbeitung stattfindet, ist bei RAG kein Detail. Bei jeder einzelnen Anfrage wandern Ausschnitte Ihrer Dokumente zum Sprachmodell — das ist ja gerade der Sinn der Sache.
Läuft dieses Modell bei einem US-Anbieter, verlassen mit jeder Frage Teile Ihrer Unterlagen den europäischen Rechtsraum. Für ein Bauunternehmen mag das verschmerzbar sein. Für eine Kanzlei, eine Arztpraxis oder eine Steuerberatung ist es das nicht: Dort ist die Frage nach dem Verarbeitungsort eine Frage des § 203 StGB, nicht des Komforts.
Ein RAG-System ist deshalb nur so datenschutzkonform wie seine Bestandteile. Suche, Vektordatenbank und Sprachmodell müssen im europäischen Rechtsraum liegen. Eine europäische Oberfläche vor einem US-Modell erfüllt die Anforderung nicht.
Was Sie mitnehmen sollten
RAG ist keine neue KI. Es ist eine Bauweise, die einer bestehenden KI beibringt, nachzuschlagen statt zu raten — und offenzulegen, wo sie nachgeschlagen hat.
Für Unternehmen ist das der Unterschied zwischen einem beeindruckenden Spielzeug und einem Werkzeug, dem man eine Aussage entnehmen kann, ohne sie vorher zu überprüfen.
Und wenn Sie sich merken wollen, worauf es bei der Auswahl ankommt, dann auf diese drei Fragen: Nennt das System seine Quellen? Bleiben meine Zugriffsrechte wirksam? Und wo genau wird verarbeitet?
Alles andere ist Technik.
Ob Ihre Dokumentenbasis für einen sinnvollen Start ausreicht, lässt sich in 30 Minuten grob einschätzen. Kein Verkaufsgespräch — eine ehrliche Standortbestimmung. Was der Einstieg kostet, steht auf der Preisseite, häufige Fragen beantwortet das FAQ.