Багатоголова увага та її варіанти

Коротко: Замість однієї уваги є кілька «голів», що паралельно стежать за різними відношеннями (граматика, посилання, близькість). Їхні результати об’єднуються.

Докладніше: Вектор ділиться на частини, у кожної голови свої ваги Q, K, V, і вона вивчає свій вид відношень.