Embedding (Vektordarstellung)

Kurz: Ein Embedding ist eine Liste von Zahlen (Vektor), die die Bedeutung eines Textes, Bildes oder Tons abbildet. Ähnliche Dinge liegen im Zahlenraum nah beieinander.

Genauer: „Hund” und „Welpe” haben ähnliche Vektoren, „Hund” und „Steuererklärung” nicht. Mit Embeddings lässt sich nach Bedeutung suchen, nicht nur nach Wörtern: Der Abstand (meist Kosinus-Ähnlichkeit) zwischen zwei Vektoren sagt, wie ähnlich sie sind.

Im Detail

• Dimensionen: Typisch 384 bis 3.072 Zahlen je Text.
• Vektordatenbank: Speichert Embeddings und findet die ähnlichsten schnell (z. B. pgvector, Qdrant).
• Einsatz: Semantische Suche, Empfehlungen, Duplikat-Erkennung, RAG (Retrieval-Augmented Generation).
• Grenzen: Embeddings spiegeln die Trainingsdaten. Fachbegriffe und neue Wörter werden schlechter erfasst.

Siehe auch: RAG (Retrieval-Augmented Generation), Token (KI)