RAG (Retrieval-Augmented Generation)

Kurz: RAG kombiniert ein Sprachmodell mit einer Suche: Zuerst werden passende Textstellen aus eigenen Dokumenten geholt, dann beantwortet das Modell die Frage auf dieser Grundlage.

Genauer: Das Modell muss dadurch nicht alles „wissen”, sondern bekommt das Relevante in den Prompt. Das reduziert Halluzinationen, hält Antworten aktuell und erlaubt Quellenangaben.

Im Detail

1. Dokumente in Abschnitte (Chunks) zerlegen.
2. Von jedem Abschnitt ein Embedding berechnen und speichern.
3. Frage ebenfalls in ein Embedding umwandeln und die ähnlichsten Abschnitte suchen.
4. Abschnitte und Frage an das Modell geben, mit der Anweisung, nur daraus zu antworten.

• Qualität hängt an der Suche: Schlechte Abschnitte ergeben schlechte Antworten.
• Datenschutz: Bei lokalen Modellen bleiben die Dokumente auf dem eigenen Rechner.

Siehe auch: Kontextfenster, Halluzination (KI)