Erläuterung des „Retrieval-Augmented Generation“-Ansatzes

„Retrieval-Augmented Generation“ ist eine Technik, bei der ein großes Sprachmodell mit einer externen Wissensdatenbank verknüpft wird, sodass es vor der Beantwortung einer Frage relevante Informationen abrufen kann. Anstatt sich ausschließlich auf das zu stützen, was es während des Trainings gelernt hat, ruft das Modell zum Zeitpunkt der Frage aktuelle, verifizierte Fakten ab und stützt seine Antwort darauf.

Was ist RAG also in einem Satz? Es handelt sich um eine Prüfung mit offenem Buch für KI. Ein herkömmliches LLM antwortet allein aus dem Gedächtnis, so wie ein Schüler eine Prüfung ohne Hilfsmittel absolviert. Einem RAG-Modell wird zunächst das Lehrbuch vorgelegt, es sucht die relevante Passage heraus und verfasst dann seine Antwort auf der Grundlage des vorliegenden Quellenmaterials.

Diese kleine Änderung im Arbeitsablauf hat große Auswirkungen. RAG-KI-Systeme können ihre Quellen angeben, sich über Informationen auf dem Laufenden halten, die nach dem Training des Modells veröffentlicht wurden, und Fragen zu Daten privater Unternehmen beantworten, die das Modell noch nie gesehen hat. Diese Kombination ist der Grund dafür, dass die „Retrieval-Augmented Generation“ zum Standardansatz für seriöse generative KI-Anwendungen geworden ist.

Der Begriff wurde in einem Forschungsarbeit von Meta AI aus dem Jahr 2020, aber der Kerngedanke ist intuitiv: Wissen und Schlussfolgerung voneinander trennen. Eine schnelle, durchsuchbare Wissensdatenbank soll die Fakten speichern, und das Sprachmodell soll das tun, was es am besten kann, nämlich die Frage verstehen und eine flüssige, hilfreiche Antwort verfassen.

Um zu verstehen, warum RAG wichtig ist, muss man die Fehlerart verstehen, die damit behoben wird.

Große Sprachmodelle werden darauf trainiert, das wahrscheinlichste nächste Wort in einer Sequenz vorherzusagen. Sie sind außergewöhnlich gut darin, Muster zu erkennen, können jedoch nicht von sich aus zwischen „Dingen, die ich tatsächlich weiß“ und „Dingen, die plausibel klingen“ unterscheiden. Wenn eine Frage außerhalb ihrer Trainingsdaten liegt oder ein Nischen-, aktuelles oder privates Thema betrifft, generieren sie oft eine flüssige, autoritär klingende Antwort, die schlichtweg falsch ist. Das ist eine KI-Halluzination.

Es gibt drei strukturelle Gründe, warum ein einfaches LLM diese Fehler erzeugt:

• Das Wissen ist erstarrt. Ein Modell weiß nur, was bis zu einem festgelegten Stichtag in seinen Trainingsdaten enthalten war. Fragt man nach einem Ereignis, einem Produkt oder einer Richtlinie, das bzw. die nach diesem Datum liegt, muss es raten.

• Wissen ist allgemein. Die Modelle werden anhand umfangreicher öffentlich zugänglicher Texte trainiert. Sie haben Ihr internes Wiki, Ihre Verträge oder Ihre Support-Tickets noch nie gelesen und können daher keine präzisen Antworten auf Fragen dazu geben.

• Es gibt keine Quelle der Wahrheit. Da das Modell seine Antworten aus einem komprimierten statistischen Speicher und nicht aus einem Dokument bezieht, kann es nicht überprüfen oder angeben, woher eine Aussage stammt.

RAG geht alle drei Probleme gleichzeitig an. Indem das Modell zum Zeitpunkt der Abfrage relevante Dokumente aus einer Wissensdatenbank abruft, ist es nicht mehr auf festgelegte, allgemeine Informationen beschränkt. Es führt Schlussfolgerungen auf der Grundlage eines realen, spezifischen und aktuellen Kontexts durch, und da dieser Kontext aus identifizierbaren Dokumenten stammt, kann das System seine Arbeitsweise offenlegen. Das Ergebnis ist ein messbarer Sprung in der Genauigkeit der KI und ein drastischer Rückgang sicher vorgetäuschter Ergebnisse.

Die RAG-Architektur umfasst zwei Phasen. Die erste Phase findet einmalig statt und wird regelmäßig aktualisiert: Dabei wird Ihr Wissen so aufbereitet, dass es durchsucht werden kann. Die zweite Phase findet jedes Mal statt, wenn ein Nutzer eine Frage stellt.

Phase 1: Indizierung (Vorbereitung der Wissensdatenbank)

Bevor RAG Daten abrufen kann, müssen Ihre Rohdaten durchsuchbar gemacht werden. Diese Indizierungspipeline wird im Voraus ausgeführt:

1. Einlesen und in Blöcke aufteilen. Quelldokumente wie PDF-Dateien, Webseiten, Support-Artikel und Datenbankdatensätze werden in kleinere Abschnitte, sogenannte „Chunks“, unterteilt, die in der Regel jeweils einige hundert Wörter umfassen. Die Unterteilung in Chunks ist wichtig, da man gezielt relevante Ausschnitte abrufen möchte und nicht ganze 50-seitige Handbücher.

2. Einbettungen erstellen. Jeder Textabschnitt wird durch ein Einbettungsmodell geleitet, das den Text in einen Vektor umwandelt – eine lange Zahlenfolge, die dessen Bedeutung erfasst. Zwei Textabschnitte, die sich auf dasselbe Konzept beziehen, ergeben mathematisch ähnliche Vektoren, auch wenn sie völlig unterschiedliche Wörter verwenden.

3. In einer Vektordatenbank speichern. Diese Einbettungen werden in einer Vektordatenbank wie Pinecone, Weaviate, Milvus, pgvector oder FAISS gespeichert, die speziell dafür entwickelt wurde, für jede Abfrage die ähnlichsten Vektoren in großem Maßstab und mit hoher Geschwindigkeit zu finden.

Phase 2: Abruf und Generierung (Beantwortung der Frage)

Wenn ein Benutzer eine Abfrage absendet, wird die RAG-Pipeline aktiviert:

1. Die Abfrage einbetten. Die Frage des Nutzers wird mithilfe desselben Einbettungsmodells in einen Vektor umgewandelt.

2. Semantische Suche. Die Vektordatenbank vergleicht den Suchvektor mit jedem gespeicherten Chunk und gibt die besten Treffer zurück. Da es sich um eine semantische Suche handelt, bei der eher nach Bedeutung als nach Schlüsselwörtern gesucht wird, wird bei einer Frage zur „Reduzierung der Kundenabwanderung“ ein Dokument zum Thema „Verbesserung der Kundenbindung“ angezeigt, auch wenn keine gemeinsamen Wörter vorhanden sind. Dieser Schritt bildet die Dokumentenabruf-Engine des gesamten Systems.

3. Erweiterung der Eingabeaufforderung. Die abgerufenen Chunks werden neben der ursprünglichen Frage in die Eingabe eingefügt. Dieser Schritt des Abrufens und Einfügens von Kontext entspricht dem Begriff „augmented“ in „retrieval-augmented generation“: Die Eingabe des Modells wird genau um die Fakten angereichert, die es benötigt.

4. Generation. Das große Sprachmodell liest die erweiterte Eingabe – also die Frage zusammen mit dem begleitenden Kontext – und gibt eine fundierte Antwort aus, oft mit Verweisen auf die Quelldokumente.

Das Schöne an diesem generativen KI-Workflow ist, dass das Sprachmodell Ihre Daten niemals im Voraus „kennen“ muss. Sie können die Wissensdatenbank jederzeit aktualisieren, und bei der nächsten Abfrage werden die neuen Informationen sofort abgerufen, ohne dass ein aufwendiges Nachtrainieren erforderlich ist.

Jedes RAG-Modell, egal wie komplex es auch sein mag, setzt sich aus denselben Bausteinen zusammen. Wenn Sie jeden einzelnen davon verstehen, können Sie besser Einschätzungen zu Kosten, Leistung und Genauigkeit vornehmen.

Die Wissensdatenbank. Dies ist Ihre „Quelle der Wahrheit“: der Dokumentenbestand, auf dessen Grundlage die KI Ihre Fragen beantworten soll. Die Qualität dieses Bestands bestimmt die Obergrenze für das gesamte System. Saubere, gut strukturierte und aktuelle Inhalte führen zu präzisen Antworten; veraltete oder widersprüchliche Inhalte führen zu selbstbewusst vorgetragenem Unsinn.

Das Einbettungsmodell. Dadurch wird Text in Vektoren umgewandelt. Je besser die Einbettungen, desto relevanter sind die gefundenen Textabschnitte. Die Wahl eines auf Ihren Fachbereich abgestimmten Einbettungsmodells – sei es im juristischen, medizinischen oder technischen Bereich – kann die Ergebnisse erheblich verbessern.

Die Vektordatenbank. Hier werden Embeddings gespeichert und blitzschnelle Ähnlichkeitssuchen durchgeführt. Es ist das Herzstück der Dokumentensuche und ermöglicht es RAG, von hundert Dokumenten auf hundert Millionen zu skalieren.

Der Retriever. Die Logik, die entscheidet, welche Inhalte in welcher Menge abgerufen werden. Fortschrittliche Suchsysteme kombinieren die semantische Suche mit der herkömmlichen Stichwortsuche – ein „hybrider“ Ansatz – und ordnen die Ergebnisse unter Umständen neu, um die relevantesten Treffer an die Spitze zu bringen.

Das große Sprachmodell. Der Generator, der den abgerufenen Kontext in eine flüssige, für Menschen lesbare Antwort umwandelt. Dabei kann es sich um ein „Frontier“-Modell oder ein kleineres Modell mit offenen Gewichten handeln, das auf Ihrer eigenen Infrastruktur läuft.

Die Orchestrierungsschicht. Das Bindeglied, das – mithilfe von Frameworks wie LangChain oder LlamaIndex – diese einzelnen Komponenten zu einem einzigen generativen KI-Workflow verbindet und die Erstellung von Prompts, die Fehlerbehandlung sowie die Formatierung der Ausgabe übernimmt.

Eine häufig gestellte Frage ist, ob man RAG verwenden oder ein Modell einfach anhand der eigenen Daten feinabstimmen sollte. Beide Ansätze lösen unterschiedliche Probleme, und die richtige Antwort lautet oft: „Beides.“

Die einfachste Faustregel: Durch Fine-Tuning wird das Verhalten des Modells verändert, während RAG das Wissen des Modells verändert. Wenn die KI einen bestimmten Tonfall annehmen oder einer strengen Ausgabestruktur folgen soll, sollten Sie eine Feinabstimmung vornehmen. Wenn sie präzise Antworten auf der Grundlage eines sich im Laufe der Zeit ändernden Faktenbestands geben soll, nutzen Sie RAG. Bei Unternehmens-KI ist RAG fast immer der Ausgangspunkt, da sich das Wissen ständig ändert und Quellenangaben unverzichtbar sind.

RAG ist kein theoretisches Modell. Es bildet die Grundlage für viele KI-Produkte, die Menschen täglich nutzen. Hier sind konkrete RAG-Beispiele aus verschiedenen Branchen:

• Kundendienstmitarbeiter. Ein Support-Bot bezieht seine Antworten aus dem Hilfe-Center des Unternehmens, der Produktdokumentation und früheren Support-Anfragen und liefert so präzise, markengerechte Antworten anstelle von allgemeinen Vermutungen.

• Interne Wissenssuche. Die Mitarbeiter stellen Fragen in einfacher Sprache und erhalten Antworten, die auf dem Unternehmens-Wiki, den HR-Richtlinien und den technischen Runbooks basieren. Dies ist ein großer Erfolg für die Produktivität im Bereich der Unternehmens-KI.

• Rechtliche und Compliance-Prüfung. Ein RAG-Modell ermittelt die für eine Frage relevanten Klauseln und Vorschriften genau und gibt dabei die Quellenangaben an, sodass Juristen jede Behauptung anhand der Quelle überprüfen können.

• Entscheidungshilfe im Gesundheitswesen. Kliniker fragen die neuesten Forschungsergebnisse und Behandlungsleitlinien ab, wobei das System begutachtete wissenschaftliche Erkenntnisse abruft und zusammenfasst, anstatt willkürliche Dosierungen anzugeben.

• Finanzforschung. Analysten stellen Fragen zu Gewinnen, Unternehmensberichten und Marktdaten, und der Assistent greift dabei auf aktuelle Berichte zurück und nicht auf eine veraltete Trainingsdatenbank.

• Chat zur Entwicklerdokumentation. Ein „Chat mit der Dokumentation“, bei dem Entwickler durch den Abruf von Informationen aus der offiziellen Dokumentation präzise, versionsspezifische Code-Beispiele erhalten.

Allen Beispielen ist eines gemeinsam: Der Mehrwert ergibt sich daraus, dass die Antwort auf einer vertrauenswürdigen Wissensbasis beruht – und genau das bietet die „Retrieval-Augmented Generation“.

Warum hat sich RAG zur Standardarchitektur für generative KI in der Praxis entwickelt? Weil es eine Reihe von Vorteilen bietet, die keine andere einzelne Technik bieten kann:

• Höhere Genauigkeit der KI und weniger „Halluzinationen“. Indem die Antworten auf die in den abgerufenen Dokumenten enthaltenen Informationen gestützt werden, bleibt das Modell an Fakten orientiert und verlässt sich nicht auf plausible Vermutungen.

• Stets aktuelles Wissen. Aktualisieren Sie die Wissensdatenbank, und das System ist sofort auf dem neuesten Stand – ganz ohne Umschulungszyklus und ohne Wartezeit bis zur Veröffentlichung der nächsten Modellversion.

• Quellenangaben und Vertrauen. Da sich die Antworten auf bestimmte Dokumente zurückverfolgen lassen, können Nutzer die Angaben überprüfen. Diese Nachvollziehbarkeit ist für regulierte Branchen von entscheidender Bedeutung.

• Persönliche Daten – sicher. Mit RAG kann ein Modell auf der Grundlage Ihrer firmeneigenen Inhalte Antworten liefern, ohne dass diese Inhalte in die Gewichte des Modells integriert werden.

• Günstiger als eine Feinabstimmung. Das Indizieren von Dokumenten ist weitaus kostengünstiger als das wiederholte Neu-Trainieren eines großen Sprachmodells.

• Kleinere Modelle, größere Ergebnisse. Dank einer leistungsstarken Informationsgewinnung kann selbst ein bescheidenes LLM ein viel größeres Modell übertreffen, dem der richtige Kontext fehlt.

All diese Vorteile zusammen machen generative KI von einer beeindruckenden Demo zu einem zuverlässigen Geschäftsinstrument.

RAG ist leistungsstark, aber es ist keine Zauberei. Nur wer seine Schwachstellen kennt, kann ein zuverlässiges System von einem anfälligen unterscheiden.

• Müll rein, Müll raus. Wenn Ihre Wissensdatenbank veraltet, widersprüchlich oder schlecht verfasst ist, werden bei der Suche zwangsläufig falsche Informationen angezeigt.

• Die Qualität der Suchergebnisse ist entscheidend. Wenn der Retriever irrelevante Chunks abruft, hat das Modell keine brauchbaren Informationen zur Verfügung. Die Optimierung der Chunk-Größe, der Embeddings und des Re-Rankings ist eine fortlaufende technische Aufgabe.

• Beschränkungen des Kontextfensters. In eine Eingabeaufforderung passt nur eine bestimmte Menge an abgerufenem Text. Ruft man zu wenig ab, verpasst man die Antwort; ruft man zu viel ab, verursacht das unnötigen Aufwand und zusätzliche Kosten.

• Latenz und Kosten. Jede Abfrage umfasst nun einen Einbettungsschritt, einen Datenbankabfragevorgang und eine umfangreichere Eingabeaufforderung, was zu einer Verlängerung um einige Millisekunden und zusätzliche Tokens führt.

• Es lindert Halluzinationen, beseitigt sie jedoch nicht vollständig. Ein Modell kann den richtigen Kontext immer noch falsch interpretieren oder zu weit extrapolieren, weshalb eine Überprüfung durch Menschen bei Anwendungen mit hohem Risiko nach wie vor wichtig ist.

Keiner dieser Punkte ist ein Ausschlusskriterium. Es handelt sich lediglich um gestalterische Überlegungen, die aus einem Prototyp einen robusten Workflow für generative KI machen.

Wenn Sie bereit sind, Ihr erstes RAG-Modell zu erstellen, finden Sie hier den gesamten Arbeitsablauf, zusammengefasst in praktischen Schritten:

1. Definieren Sie den Anwendungsfall und stellen Sie Ihre Wissensbasis zusammen. Legen Sie genau fest, welche Fragen das System beantworten muss, und sammeln Sie die Dokumente, die diese Antworten enthalten.

2. Die Daten bereinigen und in Blöcke aufteilen. Entfernen Sie Duplikate und veraltete Inhalte und unterteilen Sie die Dokumente anschließend in zusammenhängende Abschnitte, deren Umfang für die Abfrage geeignet ist.

3. Wählen Sie ein Einbettungsmodell aus und generieren Sie Vektoren. Wählen Sie ein für Ihr Fachgebiet und Ihre Sprache geeignetes Modell aus und binden Sie anschließend jeden Chunk ein.

4. Richten Sie eine Vektordatenbank ein. Laden Sie Ihre Embeddings und konfigurieren Sie die Indizierung für eine schnelle semantische Suche in der von Ihnen erwarteten Größenordnung.

5. Baue den Retriever. Beginnen Sie mit der semantischen Suche und fügen Sie anschließend hybrides Keyword-Matching und eine Neugewichtung hinzu, um relevante Ergebnisse an die Spitze zu bringen.

6. Entwickeln Sie die Eingabeaufforderung. Entwerfen Sie eine Vorlage für Eingabeaufforderungen, die die Frage des Benutzers übersichtlich mit dem abgerufenen Kontext verbindet und das Modell anweist, ausschließlich auf der Grundlage dieses Kontexts zu antworten und Quellen anzugeben.

7. Verbinden Sie das LLM und koordinieren Sie den Ablauf. Verbinden Sie den Retriever mithilfe eines Orchestrierungs-Frameworks mit Ihrem großen Sprachmodell und lassen Sie die Prompt-Erweiterung automatisch abwickeln.

8. Auswerten und iterieren. Testen Sie mit echten Fragen, messen Sie die Genauigkeit und die Qualität der Zitate und optimieren Sie die Aufteilung in Abschnitte, den Abruf und die Eingabeaufforderungen anhand der Fehler.

Betrachten Sie die Schritte 6 bis 8 als einen wiederkehrenden Prozess und nicht als einmalige Aufgabe. Die leistungsstärksten RAG-Systeme sind diejenigen, deren Teams die Qualität der Suchergebnisse kontinuierlich messen und die Pipeline ständig optimieren.

RAG entwickelt sich rasant weiter, und die nächste Welle nimmt bereits Gestalt an. Mit „Agentic RAG“ kann das System selbst entscheiden, wann es Daten abruft, wonach es sucht und ob es mehrere Abrufschritte durchführt, um komplexe, mehrteilige Fragen zu beantworten. Multimodales RAG erweitert die Informationsgewinnung über Text hinaus auf Bilder, Tabellen, Audio- und Videodateien, sodass eine einzelne Abfrage auf eine weitaus umfangreichere Wissensbasis zurückgreifen kann.

Gleichzeitig erweitern Kontextfenster und die graphbasierte Informationsgewinnung die Menge an relevanten Informationen, die ein Modell gleichzeitig auswerten kann. Der rote Faden ist klar: Die Zukunft vertrauenswürdiger KI liegt in der „grounded AI“, und die Informationsgewinnung ist der Weg, wie wir sie verankern. RAG ist keine vorübergehende Technik. Es entwickelt sich zu einer festen Schicht im modernen KI-Stack.

Alles, was Sie über „Retrieval-Augmented Generation“ gelesen haben, lässt sich direkt auf einen der sich am schnellsten entwickelnden Bereiche der KI anwenden: Videostreaming und OTT-Plattformen. Ein Streaming-Dienst ist im Kern eine riesige, sich ständig verändernde Wissensdatenbank aus Titeln, Episoden, Metadaten, Transkripten, Untertiteln, dem Verlauf der angesehenen Inhalte und Hilfeinhalten. RAG verwandelt diese Bibliothek in ein intelligentes, dialogorientiertes und präzises Erlebnis statt in einen statischen Katalog.

Genau das ist die Art von Erfahrung, die auf KI basiert Vodlix ist darauf ausgelegt, Ergebnisse zu liefern. Vodlix ist das „Shopify“ der OTT-Branche: eine vollständig als White-Label-Lösung verfügbare Video-Streaming-Plattform, mit der jeder Creator, Sender oder jedes Medienunternehmen einen markenspezifischen Dienst auf Netflix-Niveau ohne Investitionskosten und ohne eigenes Entwicklerteam starten kann. Und da Vodlix KI-gestützt ist, kommen dieselben Prinzipien zur Datenabfrage, die in diesem Leitfaden beschrieben werden, genau dort zum Tragen, wo sie am wichtigsten sind:

• Fundierte Inhaltssuche. Anstelle allgemeiner Vorschläge sorgt die RAG-basierte Suche in Ihrem eigenen Katalog und das Nutzerverhalten dafür, dass dem richtigen Zuschauer der richtige Titel angezeigt wird, was die Wiedergabezeit erhöht und die Abwanderungsrate senkt.

• Eine intuitive und präzise Suche. Mit der semantischen Suche kann Ihre Zielgruppe Inhalte anhand ihres Inhalts finden, beispielsweise „eine Wohlfühl-Dokumentation über das Meer“, anstatt nach genauen Titeln zu suchen, wobei die Ergebnisse auf Ihrem tatsächlichen Bestand basieren.

• Zuverlässiger Support. Ein RAG-gestützter Assistent kann Fragen von Abonnenten und Administratoren direkt aus Ihrem Hilfezentrum und Ihrer Dokumentation heraus präzise und rund um die Uhr beantworten, ohne dabei Richtlinien falsch zu interpretieren.

• Einblicke ohne Spekulationen. Die Analysen von Vodlix liefern Ihnen die verlässlichen Daten, die dafür sorgen, dass jede KI-Ebene auf dem tatsächlichen Verhalten Ihrer Zuschauer basiert.

Die Schlussfolgerung ist einfach: Die Zukunft des Streamings basiert auf fundierter KI, und fundierte KI basiert auf der Datenabfrage. Ganz gleich, ob Sie Ihren ersten VOD-Dienst starten oder ein Live-TV-Netzwerk geräteübergreifend ausbauen möchten – Vodlix bietet Ihnen die White-Label-Infrastruktur, Monetarisierungsmöglichkeiten (SVOD, AVOD und TVOD) sowie eine KI-fähige Grundlage, um dies zu realisieren.

Sind Sie bereit, eine intelligentere Streaming-Plattform auf den Markt zu bringen? Buchen Sie eine kostenlose Vodlix-Demo und erfahren Sie, wie über 200 Marken ihren Umsatz mit einer vollständig markenspezifischen, KI-gestützten OTT-Lösung steigern – und das innerhalb von Tagen statt Monaten.

Retrieval-Augmented Generation schließt die Lücke zwischen dem, was große Sprachmodelle sagen können, und dem, was sie beweisen können. Durch die Kombination einer schnellen, durchsuchbaren Wissensdatenbank mit der Schlussfolgerungsfähigkeit eines LLM liefert RAG Antworten, die präzise, aktuell und auf eine Quelle zurückführbar sind – genau das, was Anwendungen in der Praxis erfordern. Vom Support-Desk in Unternehmen bis hin zu globalen Streaming-Plattformen – die Informationsabfrage wird zu einem festen Bestandteil des KI-Stacks, und die Teams, die sie jetzt einsetzen, werden die vertrauenswürdigsten Produkte des nächsten Jahrzehnts entwickeln.