"Welches LLM ist das beste für RAG?"
Diese Frage lesen wir ständig. Im Web, in E-Mails. Die Antwort, die niemand hören will: Es spielt kaum eine Rolle. Nicht, weil die Modelle alle gleich wären. Sondern weil das eigentliche Problem woanders liegt.
Bei Ihren Daten.
Die unbequeme Wahrheit
Garbage In, Garbage Out. Das alte Informatik-Prinzip kennt jeder. Schlechte Eingabe, schlechtes Ergebnis.
Bei KI gilt es verschärft. RAG-Systeme können nur finden, was vorhanden ist. Sie können nur korrekt antworten, wenn die Quellen korrekt sind. Sie machen schlechte Daten nicht besser. Sie machen sie nur schneller auffindbar.
Das ist wie ein Hochgeschwindigkeitszug auf maroden Gleisen. Die Technologie ist beeindruckend. Aber sie multipliziert das Problem.
Ein Beispiel: Sie haben widersprüchliche Homeoffice-Regelungen. Dokument A sagt: "Homeoffice nach individueller Absprache." Dokument B sagt: "Maximal zwei Tage pro Woche."
Ein Mitarbeiter fragt das RAG-System: "Wie viel Homeoffice ist erlaubt?". Das System findet beide Dokumente. Es zitiert beide. Der Mitarbeiter ist verwirrter als vorher.
Ohne KI hätte er vielleicht nur eines gefunden. Mit KI findet er das Problem schneller. Aber gelöst ist es nicht.
Wie die Praxis aussieht
Ein Betriebshandbuch als 200-seitiges PDF. Keine Überschriften. Keine Kapitelstruktur. Nur Fließtext. Das Retrieval versucht verzweifelt, relevante Passagen zu finden. Aber ohne Struktur ist das Raten.
Oder: Die gleiche Information in fünf verschiedenen Versionen. PowerPoint-Präsentation vom Kick-off-Meeting. Word-Dokument mit Notizen. E-Mail-Zusammenfassung. Confluence-Seite. SharePoint-Upload.
Welche ist aktuell? Das System weiß es nicht. Also behandelt es alle gleich.
Oder – und das ist besonders frustrierend – implizites Wissen. "Das machen wir immer so." Steht aber nirgends geschrieben. Ist in den Köpfen der Leute, die schon länger da sind.
Die KI kann nicht finden, was nicht dokumentiert ist.
Der Technologie-Reflex
Wenn die Antworten schlecht sind, ist die typische Reaktion: Bessere Technologie muss her. Größeres Modell. Feineres Chunking. Aufwendigeres Reranking. Hybrid Search mit BM25 und Dense Retrieval.
Alles gute Ideen. Alle helfen ein bisschen.
Aber wenn die Quelle falsch ist, ist die Antwort falsch. Egal wie sophisticated Ihr System ist. Das ist die Hebelwirkung von Datenqualität.
Was wirklich hilft
Dokumentenhygiene ist unglamourös. Niemand macht ein Marketing-Video über "Wir haben alte Dateien gelöscht." Aber es funktioniert.
Regelmäßige Überprüfung: Was ist veraltet? Was widerspricht sich? Was fehlt? Das ist keine KI-Aufgabe. Das ist Organisationsarbeit. Jemand muss sich hinsetzen und durchgehen.
Klare Versionierung. Ein Dokument pro Thema. Eindeutige Datierung. Alte Versionen ins Archiv, nicht parallel indexieren.
Strukturierte Formate. Überschriften. Absätze. Listen. Nicht nur für Menschen lesbar, sondern für Retrieval optimiert.
Und dann das Schwierigste: Implizites Wissen explizit machen. Die Dinge aufschreiben, die "alle wissen". Weil neue Mitarbeiter sie eben nicht wissen. Und die KI schon gar nicht.
Metadaten helfen auch. Autor, Datum, Gültigkeitsbereich, Abteilung. Je mehr Kontext, desto präziser kann das System suchen.
Der Einfluss auf die Antwortqualität verteilt sich ungefähr so:
Datenqualität: 60 bis 70 Prozent.
Retrieval-Logik: 15 bis 20 Prozent.
Sprachmodell: 10 bis 15 Prozent.
Alles andere: 5 Prozent.
Das heißt: Wenn Sie Ihr Budget ausgeben wollen, investieren Sie zuerst in die Daten. Nicht in das neueste Modell.
Ein Rechenbeispiel
Unternehmen A gibt 50.000 Euro für das beste verfügbare LLM aus. Ihre Dokumentenbasis: 500 unstrukturierte PDFs, teilweise veraltet, viele Duplikate.
Unternehmen B gibt 10.000 Euro für ein solides Standardmodell aus. Und 40.000 Euro für die Dokumentenaufbereitung. Alte Versionen löschen. Struktur hinzufügen. Widersprüche auflösen. Metadaten ergänzen.
Nach sechs Monaten: System B liefert deutlich bessere Antworten als System A.
Warum? Weil das Fundament stimmt.
Der versteckte Vorteil
Das Beste an Dokumentenaufbereitung: Es hilft nicht nur der KI. Wenn Sie Ihre Dokumente durchgehen, fallen Ihnen Widersprüche auf. Sie sehen Lücken. Sie merken, was veraltet ist.
Das verbessert Ihr Wissensmanagement insgesamt. Auch für Mitarbeiter, die gar keine KI nutzen.
Die Fragen, die Sie sich stellen sollten
Bevor Sie in bessere Technologie investieren, beantworten Sie diese Fragen:
Wie alt sind Ihre Dokumente durchschnittlich? Haben Sie Sachen von vor fünf Jahren, die niemand aktualisiert hat?
Gibt es widersprüchliche Informationen? Verschiedene Abteilungen mit verschiedenen Versionen der Wahrheit?
Wie viele Duplikate existieren? Die gleiche Information in zehn verschiedenen Formaten?
Was ist implizites Wissen? Was "wissen alle", aber steht nirgends?
Wie strukturiert sind Ihre Dokumente? Überschriften, Absätze, oder Textwüsten?
Wie erkennt man die aktuelle Version? Datum im Dateinamen? Versionsnummer? Oder raten?
Wenn Sie diese Fragen nicht beantworten können, dann ist Datenqualität Ihr erster Hebel. Nicht Technologie.
Die Wahrheit über KI-Projekte
Die meisten gescheiterten KI-Projekte scheitern nicht an der Technologie.
Sie scheitern daran, dass die Daten nicht bereit waren.
Die KI ist der sichtbare Teil. Das glänzende Interface. Die beeindruckende Demo.
Die Daten sind unsichtbar. Langweilig. Mühsam. Aber sie sind das Fundament.
Unser Versprechen
Wenn Sie KnowledgePilot evaluieren und wir sehen, dass Ihre Daten nicht bereit sind, sagen wir es Ihnen.
Nicht, um unseren Deal zu vermasseln. Sondern weil wir wissen: Ein System, das auf schlechten Daten läuft, wird scheitern. Egal wie gut die Technologie ist.
Wir helfen Ihnen lieber, erst die Grundlagen zu schaffen. Auch wenn das bedeutet, dass Sie uns erst später kaufen.
Denn ein System, das funktioniert, ist besser als eines, das schnell verkauft wurde.