Позиционное кодирование и RoPE

Коротко: Внимание само по себе не знает порядка. Позиционное кодирование даёт каждому токену информацию о его месте. Сегодня распространён RoPE, поворачивающий векторы в зависимости от позиции.

Подробнее: Без позиции «собака кусает человека» и «человек кусает собаку» были бы для внимания одним и тем же набором слов.