Самоувага докладно

Коротко: Самоувага дозволяє кожному токену вирішувати, на які інші токени звертати увагу, і змішувати їхню інформацію відповідно. Для цього в кожного токена три вектори: запит, ключ і значення.

Докладніше: Запит токена порівнюється з ключами всіх токенів (скалярний добуток). Чим більше схожі, тим вища вага. Softmax перетворює це на частки, результат — зважена сума значень.