Ratgeber für den Mittelstand
KI mit eigenen Dokumenten:
nachschlagen statt raten.
In fast jedem Erstgespräch fällt die Frage: „Und woher weiß die KI das jetzt?“ Die Antwort heißt RAG – der Unterschied zwischen einer KI, die plausibel klingt, und einer, die belegen kann, woher ihre Antwort stammt.
Gedächtnis oder Nachschlagen
Ein Sprachmodell wie ChatGPT hat einmal sehr viel Text gelesen und antwortet aus diesem Gedächtnis. Für allgemeine Fragen klappt das erstaunlich gut – für Ihre Reisekostenrichtlinie nicht, denn die stand in keinem Trainingstext. Das Modell schweigt dann nicht, es formuliert eine Richtlinie, wie sie üblicherweise aussieht. Sprachlich einwandfrei, inhaltlich erfunden.
RAG dreht die Reihenfolge um. Bevor das Modell etwas sagen darf, wird in Ihren Dokumenten nachgeschlagen. Das Modell ist dann nicht mehr die Wissensquelle, sondern der Formulierer. Das Wissen kommt aus Ihrem Bestand.
Der Ablauf in drei Schritten
Der dritte Schritt unterscheidet RAG von einer besseren Suchmaschine: Sie bekommen nicht zwölf Treffer zum Selberlesen, sondern eine Antwort mit Verweis.
01
Suchen
Ihre Frage geht zuerst an eine Suche über Ihren Bestand. Sie arbeitet über Bedeutung, nicht über Stichwörter: Zu „Wie viele Tage Homeoffice?“ findet sie auch den Abschnitt über „mobiles Arbeiten“.
02
Anreichern
Die passendsten Fundstellen werden der Frage beigelegt – nicht das ganze Dokument, sondern die Passagen, um die es geht.
03
Formulieren
Erst jetzt kommt das Sprachmodell zum Zug. Es macht aus den Fundstellen eine Antwort und nennt, aus welchem Dokument sie stammt.
Warum das für Unternehmen zählt
Und warum „Wir trainieren einfach ein eigenes Modell mit unseren Daten“ fast immer die schlechtere Idee ist – ganz unabhängig von den Kosten.
Nachprüfbar
Jede Antwort trägt ihre Herkunft mit sich. Wandert eine Aussage in ein Angebot oder einen Schriftsatz, ist genau das der Unterschied zwischen brauchbar und unbrauchbar.
Sofort aktuell
Eine Richtlinie ändert sich, das Dokument wird eingelesen, die nächste Frage berücksichtigt sie. Trainiert wird nichts.
Rechte wirken
Weil bei jeder Frage neu gesucht wird, sucht die KI nur dort, wo der Fragende lesen darf. In einem trainierten Modell ließe sich das nicht trennen.
Löschbar
Das Wissen liegt neben dem Modell, nicht darin. Ein gelöschtes Dokument taucht in keiner Antwort mehr auf – wichtig bei einem Löschersuchen nach Art. 17 DSGVO.
Weniger erfunden
Eine KI erfindet vor allem, wenn sie nichts weiß und trotzdem antworten soll. Mit den passenden Fundstellen gibt es wenig zu erfinden. Ganz verschwindet das Risiko nicht – deshalb die Quellen.
Was RAG nicht kann
Dieser Teil fehlt in den meisten Anbieterbroschüren.
RAG repariert Ihre Dokumente nicht. Es findet, was da ist – auch das Falsche. Enthalten zwei Dokumente widersprüchliche Regelungen, findet das System beide und zitiert beide. Das ist kein Fehler des Systems, sondern einer in der Ablage, der vorher nur niemandem auffiel.
RAG findet nicht, was nirgends steht. Das „Das machen wir hier immer so“ im Kopf eines Kollegen bleibt unauffindbar, bis es jemand festhält – per Diktat oder im Besprechungsprotokoll.
Die Qualität Ihrer Dokumente entscheidet deshalb stärker über das Ergebnis als die Wahl des Sprachmodells. Datenqualität vor KI-Technologie →
Drei Fragen für die Auswahl
Bei jeder Frage wandern Ausschnitte Ihrer Dokumente zum Sprachmodell. Ein RAG-System ist deshalb nur so datenschutzkonform wie seine Bestandteile. Datenschutzkonforme KI →
Für Kanzleien, Praxen und Steuerbüros ist der Verarbeitungsort zudem eine Frage des Strafrechts. KI für Berufsgeheimnisträger →
- 01Nennt das System seine Quellen?Mit Datei und Stelle, sodass Sie in Sekunden nachprüfen können.
- 02Bleiben Ihre Zugriffsrechte wirksam?Bei jeder einzelnen Frage, nicht nur beim Einrichten.
- 03Wo genau wird verarbeitet?Suche, Datenbank und Sprachmodell – alle drei, nicht nur die Oberfläche.
Kurz beantwortet
Was ist RAG?
RAG steht für Retrieval-Augmented Generation. Bevor das Sprachmodell antwortet, wird in Ihren Dokumenten nachgeschlagen, und die gefundenen Textstellen werden ihm vorgelegt. Es antwortet daraus und nennt die Quelle, statt aus seinem Trainingswissen zu raten.
Müssen wir dafür ein eigenes KI-Modell trainieren?
Nein, und meist ist das die schlechtere Idee: Training ist teuer, dauert und muss bei jeder Änderung wiederholt werden. Aus einem trainierten Modell lassen sich weder Rechte trennen noch einzelne Inhalte wieder löschen.
Welche Dokumente kann KnowledgePilot nutzen?
Ordner vom Laufwerk per Upload, jedes gängige Postfach über IMAP, OneDrive und Google Drive. Exchange und Microsoft 365 folgen in Kürze.
Muss unsere Ablage vorher aufgeräumt sein?
Nein. Sie fangen mit dem an, was da ist. Jede Antwort zeigt Quelle und Datum, so sehen Sie, welche Fassung gilt – und Widersprüche fallen auf, statt im Ordner zu schlummern.
Preise und Pläne: Preisübersicht · weitere Antworten: FAQ
Peter Schubert
Entwickelt KnowledgePilot · Vorstand Companionware AG
Sie schreiben nicht an einen Vertrieb, sondern an den, der das Produkt baut.
Was möchten Sie wissen?
Fragen Sie mich direkt – zu Ihrem Betrieb, zu Ihren Daten, zum Datenschutz. Ich antworte persönlich, meist am selben Werktag.
Lieber sprechen?
30 Minuten, Video oder Telefon
Bringen Sie eine echte Frage aus Ihrem Alltag mit. Ich zeige Ihnen die Antwort live.