Эмбеддинг (векторное представление)

Коротко: Эмбеддинг — это список чисел (вектор), представляющий смысл текста, изображения или звука. Похожие вещи лежат близко друг к другу в числовом пространстве.

Подробнее: У «собаки» и «щенка» похожие векторы, а у «собаки» и «налоговой декларации» — нет. С помощью эмбеддингов можно искать по смыслу, а не только по словам: расстояние между двумя векторами (обычно косинусное сходство) показывает, насколько они похожи.

Подробности

• Размерность: обычно от 384 до 3 072 чисел на текст.
• Векторная база данных: хранит эмбеддинги и быстро находит самые похожие (например, pgvector, Qdrant).
• Применение: семантический поиск, рекомендации, поиск дубликатов, RAG.
• Ограничения: эмбеддинги отражают обучающие данные. Специальные термины и новые слова улавливаются хуже.

См. также: RAG (генерация с дополнением поиском), Токен (ИИ)