Wissensmanagement mit KI: Woran der Erfolg von RAG-Projekten hängt

Wenn es um KI und Wissensmanagement geht, ist der Wunsch in fast jedem Unternehmen derselbe: Das über Jahre gewachsene Wissen soll zugänglich werden. Eine Frage stellen und eine belastbare Antwort bekommen. Technisch führt der Weg dorthin meist über sogranannte Retrieval Augmented Generation (RAG) – ein Sprachmodell, das seine Antworten aus den eigenen Dokumenten zieht.

Wir haben in den vergangenen Jahren viele solcher Systeme aufgebaut. Auf die Heausforderungen und unsere Erfahrungen wollen wir anhand eines solchen Systems in einem Serviceumfeld eingehen: Servicepage-Inhalte, Produktdaten, Schulungsunterlagen, alte Kataloge. Angelegt war das Projekt von Anfang an als Co-Innovation und als Investment in Exploration. Die Erfahrungen daraus gelten für jedes Vorhaben, das ein Sprachmodell auf gewachsene Unternehmensdaten setzt.

Metadaten entscheiden über die Trefferqualität

Die wichtigste Erkenntnis lässt sich in ein Bild fassen: Gesucht wird nicht eine Nadel in einem Heuhaufen sondern eher eine Nadel in einem Haufen Nadeln. Eine gewachsene Wissensbasis besteht überwiegend aus Dokumenten, die einander stark ähneln – Datenblätter zu verwandten Produkten, Anleitungen in mehreren Sprachvarianten, dieselbe Baureihe über zehn Generationen hinweg. Gebraucht wird jedes Mal genau eine davon.

Für ein Sprachmodell ist diese Ähnlichkeit tückisch, denn semantisch liegen die Dokumente dicht beieinander und landen entsprechend gemeinsam im Kontext. Eine Antwort, die sich auf die Nachbarvariante stützt, klingt dann völlig plausibel und führt den Nutzer trotzdem in die Irre. Bei einem Wartungsintervall oder einem Anzugsmoment hat die falsche Variante reale Folgen. Für die Trefferqualität zählt deshalb weniger, wie ähnlich ein Dokument der Frage ist, als ob es exakt zur gefragten Variante gehört.

Zwei Punkte entscheiden über diese Unterscheidbarkeit und sind in der Praxis überraschend aufwendig. Der erste ist die Zuordnung: Zu welchem Produkt, welcher Anlage, welchem Fachbereich gehört ein Dokument? Referenzen fehlen häufig oder verwenden je nach Quelle unterschiedliche Bezeichnungen, was gerade bei eng verwandten Varianten auch eine automatisierte Zuordnung erschwert. Der zweite ist der Zeitbezug: Welcher Stand ist gültig? Versionierungen sind uneindeutig, historische Dokumente bleiben unmarkiert. Ein Modell erkennt das Alter eines Dokuments nur, wenn diese Information in den Metadaten hinterlegt ist.

Wer eine Wissensbasis aufbaut, definiert deshalb zuerst ein einheitliches Metadaten-Schema, nutzt es konsequent und arbeitet Altbestände systematisch nach. Erst diese Struktur macht eine Nadel von ihren Nachbarn unterscheidbar. Andernfalls fügt jedes weitere Dokument dem Haufen eine Verwechslungsmöglichkeit hinzu.

Generative KI liefert wahrscheinliche Antworten.

Sprachmodelle berechnen die statistisch wahrscheinlichste Antwort aus Trainingsdaten und bereitgestelltem Kontext. Ob diese Antwort fachlich zutrifft, bleibt eine offene Frage. Und da das System über Richtiges und Falsches mit derselben Souveränität spricht, sagt eine überzeugende Formulierung wenig über die Qualität aus.

Für Wissensmanagement gilt das doppelt: Fehler und Widersprüche in den Quelldaten wandern in die Antworten weiter. Das ist eine grundlegende Eigenschaft der Technologie und bleibt es auch über künftige Modellgenerationen hinweg. Wer sie akzeptiert, baut die passenden Prozesse: Validierung für kritische Ausgaben, klare Hinweise zur Formulierung von Anfragen und Transparenz darüber, wann menschliche Expertise hinzugezogen werden muss.

Erwartungsmanagement ist Projektarbeit

Drei Annahmen halten sich hartnäckig: Die KI weiß alles. Die KI versteht mich auch bei einem Stichwort. Die KI macht keine Fehler. Diese Erwartungen bringen Nutzende von außen mit – geprägt von Medienberichten und von Consumer-Systemen, die auf riesigen allgemeinen Datenmengen trainiert sind. Genau diese Erfahrung übertragen sie auf ein Fachsystem mit begrenztem Datenbestand. Ob ein internes Wissenssystem als Erfolg wahrgenommen wird, hängt deshalb stark davon ab, wie offen über Möglichkeiten und Grenzen gesprochen wird, wie das Onboarding gestaltet ist und ob Nutzende lernen, ihre Fragen präzise zu stellen.

Was wir organisatorisch mitnehmen

Der Entwicklungspfad führte über mehrere Datenquellen und Formatwechsel – vom ersten Datendump über strukturierte Daten bis zu Diskussionen um die Anbindung weiterer Systeme. Jeder Wechsel kostete Anpassungsaufwand. Erfolgversprechend wurde es mit einem eigenen Datenmodell, das von den Quellsystemen abstrahiert und über ein Mapping-Layer flexibel bleibt. Für Wissensmanagement-Projekte gilt das generell: Die Quellen ändern sich laufend, das Datenmodell sollte davon unberührt bleiben.

Zwei weitere Punkte:

1) Der Scope wuchs im Verlauf über den ursprünglich geplanten Datenbestand hinaus. Das hat die Plattform zukunftsfähiger gemacht, aber zugleich auch Ressourcen gebunden. Es sollten sich beide Parteien im klaren sein, dass KI-Projekte ein Investment darstellen, die aber auch beiden Seiten einen Wettbewerbsvorteil bringen kann.

2) Das Testing lieferte für eine belastbare Qualitätsbewertung zu wenig Substanz: Es fehlten strukturierte Metriken, ein fester Fragenkatalog und User Acceptance Testing mit repräsentativen Nutzern. Gerade bei RAG-Systemen macht erst eine solche Messbasis Qualitätsaussagen belastbar.

Für die Steuerung setzen wir künftig auf ein Hybrid-Modell: Zwei-Wochen-Sprints mit Reviews für das Gesamtteam, dazu wöchentliche Touchpoints auf PM-Level für schnelle Entscheidungen.

Die drei zentralen Learnings – Struktur als Fundament, Wahrscheinlichkeit als Arbeitsgrundlage, Erwartungsmanagement als Daueraufgabe – lassen sich auf jedes KI-Vorhaben im Wissensmanagement übertragen.

(Das Artikelbild ist vom KI-Modell FLUX.2 max von Black Forest Labs generiert.)