Kurz gesagt: Bei Retrieval Augmented Generation (RAG) sucht ein System zu jeder Frage zuerst passende Abschnitte in Ihren Unterlagen und lässt ein Sprachmodell dann auf dieser Grundlage antworten. Die Suche läuft über eine Vektordatenbank: Sie speichert Textabschnitte als Zahlenreihen und vergleicht sie nach Bedeutung statt nach Stichworten.
Warum eine KI Ihre Unterlagen nicht einfach kennt
Ein Sprachmodell lernt im Training aus großen Textmengen. Ihre Skripte, Folien und Handbücher gehören nicht dazu, und sein Wissen endet an einem Stichtag. Fragt man es trotzdem nach den Inhalten eines bestimmten Kurses, antwortet es aus allgemeinem Wissen oder erfindet Details. RAG schließt diese Lücke, ohne das Modell neu zu trainieren.
Woher der Begriff RAG kommt
Den Begriff prägte 2020 ein Forschungsteam um Patrick Lewis. Es verband ein Sprachmodell mit einem durchsuchbaren Index der Wikipedia, auf den ein neuronales Suchsystem zugreift. Die Modelle erzeugten so spezifischere und sachlich zutreffendere Texte als Modelle, die nur auf ihr gelerntes Wissen zurückgreifen (Lewis u. a., 2020). Spätere Studien zeigten, dass diese Kopplung an Quellen erfundene Fakten in Dialogsystemen deutlich verringert (Shuster u. a., 2021).
So funktioniert RAG Schritt für Schritt
Zerlegen: Die Unterlagen werden in kurze Abschnitte geteilt, sogenannte Chunks, zum Beispiel einzelne Absätze oder Folien.
Umrechnen: Ein Embedding-Modell wandelt jeden Abschnitt in einen Vektor um, eine lange Reihe von Zahlen. Abschnitte mit ähnlicher Bedeutung erhalten ähnliche Vektoren.
Speichern: Die Vektoren landen in einer Vektordatenbank, zusammen mit einem Verweis auf das Originaldokument.
Suchen: Stellt jemand eine Frage, wird auch sie in einen Vektor umgerechnet. Die Datenbank liefert die Abschnitte, deren Vektoren am nächsten liegen.
Antworten: Das Sprachmodell erhält die Frage und die gefundenen Abschnitte und formuliert daraus die Antwort, idealerweise mit Angabe der Quellen.
Was eine Vektordatenbank anders macht
Eine klassische Suche findet Wörter. Eine Vektordatenbank findet Bedeutungen: Die Frage „Wie lange muss ich Rechnungen aufheben?“ kann einen Abschnitt über Aufbewahrungsfristen für Buchungsbelege finden, obwohl kein Wort übereinstimmt. Dafür sucht sie die Vektoren, die der Anfrage am nächsten liegen. Große Systeme nutzen dabei Näherungsverfahren, die etwas Genauigkeit gegen deutlich schnellere Antworten tauschen (Elastic).
Wo RAG an Grenzen stößt
Schlechte Vorlagen: Gescannte PDFs, Tabellen als Bild oder Folien mit wenig Text liefern kaum verwertbaren Inhalt. Was nicht gelesen werden kann, wird nicht gefunden.
Ungünstige Abschnitte: Sind die Chunks zu groß, wird die Suche ungenau; sind sie zu klein, fehlt der Zusammenhang.
Widersprüche: Stehen in den Unterlagen zwei Definitionen desselben Begriffs, kann die Antwort zwischen ihnen schwanken.
Fragen außerhalb der Unterlagen: Findet die Suche nichts Passendes, sollte das System das sagen, statt aus Allgemeinwissen zu ergänzen.
So arbeitet Tarsus mit Ihren Unterlagen
Lädt eine Organisation Unterlagen in Tarsus hoch, werden sie auf Servern in Deutschland in kleine Einheiten zerlegt. Ein Machine-Learning-Modell ordnet jede Einheit nach Taxonomiestufe und Wissensart ein, nach Anderson und Bloom oder nach den IHK-Taxonomien. Gespeichert werden die Einheiten als Vektoren in einer Vektordatenbank, zusätzlich in einer Graph-Datenbank für die Zusammenhänge und in einer Objektdatenbank für Texte und Bilder. Jede Karte wird automatisch indexiert und nach einer Änderung neu indexiert, sodass der Lerncoach immer mit dem aktuellen Stand arbeitet. Zu den Antworten können Lernende die herangezogenen Abschnitte als Quellen ansehen.
Häufige Fragen
Was ist der Unterschied zwischen RAG und Fine-Tuning?
Beim Fine-Tuning wird ein Modell mit eigenen Daten nachtrainiert. Das Wissen steckt danach im Modell und lässt sich nur schwer aktualisieren oder belegen. Bei RAG bleibt das Modell unverändert und holt sich das Wissen bei jeder Frage aus den Unterlagen. Neue Unterlagen wirken sofort, und Quellen lassen sich anzeigen.
Braucht man für RAG eine Vektordatenbank?
Meistens ja, denn sie macht die Suche nach Bedeutung schnell. Viele Systeme kombinieren sie mit einer Stichwortsuche oder mit einer Graph-Datenbank, die Zusammenhänge zwischen Begriffen speichert.
Verhindert RAG Halluzinationen?
Es verringert sie deutlich, verhindert sie aber nicht ganz. Wichtig sind gute Unterlagen, sichtbare Quellen und ein System, das zugibt, wenn es keine Antwort findet. Mehr dazu im Beitrag KI-Halluzinationen im Kurs vermeiden.
Bleiben meine Unterlagen dabei geschützt?
Das hängt vom Anbieter ab. Fragen Sie, wo Unterlagen und Vektoren gespeichert werden, wofür sie genutzt werden und wer darauf zugreifen kann. Tarsus speichert die Inhalte seiner Kunden bei Microsoft Azure in Deutschland.
