Word2Vec и история эмбеддингов

Коротко: Word2Vec (2013) показал, что слова можно представлять векторами, в которых смысл — это направление: король − мужчина + женщина ≈ королева. Современные эмбеддинги происходят от этой идеи.

Подробнее: Модель учится по соседям слов в тексте: слова, встречающиеся в схожем окружении, получают схожие векторы («слово узнают по его окружению»).