Was ist RAG (Retrieval-Augmented Generation)?

Definition

Retrieval-Augmented Generation (RAG) ist ein Verfahren, bei dem ein Sprachmodell vor jeder Antwort passende Informationen aus Ihren eigenen Quellen erhält. Der Ablauf hat zwei Schritte:

1. Retrieval (Abruf): Zur Frage werden die relevantesten Textstellen gesucht, etwa in Handbüchern, Verträgen, Tickets oder einer Wissensdatenbank. Dafür werden die Dokumente vorab in durchsuchbare Abschnitte zerlegt, oft mit einer semantischen Suche, die Bedeutungen statt nur Stichwörter vergleicht.
2. Generation (Antwort): Das Modell erhält die gefundenen Stellen zusammen mit der Frage und formuliert daraus eine Antwort, idealerweise mit Quellenangabe.

Warum das für Unternehmen relevant ist

Ein Sprachmodell kennt Ihre internen Dokumente nicht. RAG schliesst diese Lücke, ohne dass das Modell neu trainiert werden muss:

• Aktuelles Wissen: Wird ein Dokument geändert, fliesst die Änderung sofort in die Antworten ein.
• Nachvollziehbarkeit: Antworten verweisen auf die Quelle. Mitarbeitende können prüfen, statt blind zu vertrauen.
• Zugriffsrechte: Die Suche kann nur Dokumente berücksichtigen, die die fragende Person auch sehen darf.
• Weniger Halluzinationen: Das Modell stützt sich auf vorhandene Texte statt auf sein allgemeines Wissen.

Typische Anwendungen sind interne Wissensassistenten, Support-Bots, die Produktdokumentation kennen, oder die Recherche in Verträgen und Richtlinien.

Was zu beachten ist

Die Qualität einer RAG-Lösung steht und fällt mit der Suche. Veraltete, doppelte oder schlecht strukturierte Dokumente führen zu schwachen Antworten. Tabellen, Scans und PDFs brauchen oft eine eigene Aufbereitung. Und auch mit RAG kann ein Modell Informationen falsch kombinieren; eine Auswertung mit echten Fragen aus dem Alltag gehört deshalb zu jedem Projekt.

So setzen wir es ein

Softverse baut RAG-Lösungen als Teil von Wissensassistenten und KI-Agenten, mit Datenhaltung in der Schweiz auf Wunsch. Mehr dazu unter KI-Agenten.