Позиційне кодування та RoPE

Коротко: Увага сама по собі не знає порядку. Позиційне кодування дає кожному токену інформацію про його місце. Сьогодні поширений RoPE, що повертає вектори залежно від позиції.

Докладніше: Без позиції «собака кусає людину» і «людина кусає собаку» були б для уваги одним і тим самим набором слів.