Word2Vec und die Geschichte der Embeddings

Kurz: Word2Vec (2013) zeigte, dass man Wörter als Vektoren darstellen kann, in denen Bedeutung als Richtung steckt: König − Mann + Frau ≈ Königin. Moderne Embeddings stammen aus dieser Idee.

Genauer: Das Modell lernt aus der Nachbarschaft von Wörtern im Text: Wörter, die in ähnlichen Umgebungen vorkommen, bekommen ähnliche Vektoren („Man erkennt ein Wort an seiner Gesellschaft“).

Im Detail

• Word2Vec: Zwei Varianten: Skip-gram (Wort → Umgebung vorhersagen) und CBOW (Umgebung → Wort). Ergebnis: ein fester Vektor je Wort.
• GloVe: Ähnliches Ergebnis aus globalen Wort-Zählungen.
• Problem: Ein Vektor pro Wort kennt keinen Kontext („Bank“ am Fluss oder Geld).
• Kontextuelle Embeddings: ELMo und BERT liefern je Satz andere Vektoren. In Transformern wird jedes Token in jeder Schicht zu einem neuen Vektor mit Kontext.
• Satz-Embeddings: Ein Vektor für einen ganzen Satz oder Absatz, trainiert mit kontrastiven Verfahren, Grundlage der Suche, siehe Vektordatenbanken und Ähnlichkeitssuche.
• Verzerrungen: Embeddings spiegeln Stereotype der Daten (Arzt – Mann, Krankenschwester – Frau), siehe Verzerrung, Fairness und Datenqualität.
• Heute: Das erste Modul eines Sprachmodells ist eine Embedding-Tabelle mit einer Zeile je Token, siehe embedding-(vektordarstellung).

Siehe auch: embedding-(vektordarstellung), Tokenisierung: BPE und Vokabular