Hybridsuche: BM25 plus Vektoren

Kurz: Hybridsuche kombiniert die klassische Stichwortsuche (BM25) mit der Suche nach Bedeutung über Vektoren. Beide finden Dinge, die der andere übersieht, zusammen sind die Ergebnisse meist besser.

Zwei Arten der Suche

• BM25 (Stichwortsuche): zählt, wie oft und wie selten ein Suchwort in einem Dokument vorkommt. Sehr gut bei Eigennamen, Fehlercodes, Artikelnummern. Findet „Auto“ aber nicht „Fahrzeug“.
• Vektorsuche: vergleicht die Bedeutung (siehe Vektordatenbanken und Ähnlichkeitssuche). Findet „Fahrzeug“ für „Auto“, aber verfehlt oft exakte Kennungen wie „E-4711“.

Zusammenführen

Beide liefern eine Rangliste. Ein gängiger Weg ist die Reciprocal Rank Fusion: Jedes Dokument bekommt für jeden Rang einen Wert 1 / (k + Rang) (oft k = 60), die Werte werden addiert und neu sortiert. So braucht man keine vergleichbaren Punktzahlen.

Danach kann ein Reranker die obersten Treffer noch genauer ordnen, siehe RAG-Pipeline: Chunking, Reranking und Evaluation.

Wann lohnt es sich?

Fast immer, sobald Nutzer sowohl normale Fragen als auch exakte Begriffe eingeben. Viele Datenbanken (zum Beispiel PostgreSQL mit Volltext und pgvector) können beides.

Siehe auch: Vektordatenbanken und Ähnlichkeitssuche