Word2Vec та історія ембедингів

Коротко: Word2Vec (2013) показав, що слова можна подавати векторами, в яких зміст — це напрям: король − чоловік + жінка ≈ королева. Сучасні ембединги походять від цієї ідеї.

Докладніше: Модель вчиться за сусідами слів у тексті: слова, що трапляються в схожому оточенні, отримують схожі вектори («слово впізнають за його оточенням»).