Самовнимание подробно

Коротко: Самовнимание позволяет каждому токену решать, на какие другие токены обращать внимание, и смешивать их информацию соответственно. Для этого у каждого токена три вектора: запрос, ключ и значение.

Подробнее: Запрос токена сравнивается с ключами всех токенов (скалярное произведение). Чем более похожи, тем выше вес. Softmax превращает это в доли, результат — взвешенная сумма значений.