Многоголовое внимание и его варианты

Коротко: Вместо одного внимания есть несколько «голов», параллельно следящих за разными отношениями (грамматика, ссылки, близость). Их результаты объединяются.

Подробнее: Вектор делится на части, у каждой головы свои веса Q, K, V, и она изучает свой вид отношений.