RAG-Pipeline: Chunking, Reranking und Evaluation

Kurz: RAG (Retrieval-Augmented Generation) gibt einem Sprachmodell passende Textstellen aus eigenen Dokumenten mit, damit es auf dieser Grundlage antwortet. Die Qualität hängt stärker an der Suche als am Modell.

Die Schritte

1. Aufnahme: Dokumente einlesen (PDF, Web, Datenbank) und bereinigen.
2. Chunking: in Stücke teilen, etwa 200 bis 800 Token, mit etwas Überlappung. Zu kleine Stücke verlieren Zusammenhang, zu große verwässern die Suche. Besser an Absätzen und Überschriften trennen als mitten im Satz.
3. Einbetten: jedes Stück in einen Vektor umwandeln, siehe Vektordatenbanken und Ähnlichkeitssuche.
4. Abruf: zur Frage die ähnlichsten Stücke holen (zum Beispiel die besten 20).
5. Reranking: ein genaueres Modell sortiert diese Treffer neu und behält die besten 3 bis 5.
6. Antwort: Frage und Stücke gehen ans Sprachmodell, das mit Quellenangabe antworten soll.

Typische Fehler

• Die richtige Stelle wird nicht gefunden (Chunking oder Einbettung schlecht).
• Die Stelle wird gefunden, das Modell ignoriert sie oder erfindet dazu, siehe Halluzination (KI).
• Veraltete Dokumente bleiben im Index.

Evaluation

Man baut eine Liste echter Fragen mit bekannten Antworten und misst getrennt: Wird die richtige Stelle gefunden (Recall@k)? Ist die Antwort korrekt und durch die Stellen belegt? Mehr dazu in KI-Evaluierung: Tests, Benchmarks und LLM als Richter.

Siehe auch: Hybridsuche: BM25 plus Vektoren