Архитектура Transformer

Коротко: Transformer — это архитектура, лежащая в основе почти всех современных языковых моделей. Её основная идея — внимание (attention).

Подробнее: В механизме внимания модель вычисляет для каждого токена, насколько важен каждый другой токен контекста для его понимания. Это позволяет улавливать далёкие связи. Архитектура была опубликована в 2017 году в статье «Attention Is All You Need».

Подробности

• Слои: много одинаковых блоков из внимания и сети прямого распространения.
• Только декодер (decoder-only): GPT, Llama, Qwen генерируют текст токен за токеном.
• Квадратичный рост: вычисление внимания растёт квадратично с длиной контекста. FlashAttention и другие методы смягчают это.
• Позиции: вращающиеся эмбеддинги (RoPE) кодируют порядок.

См. также: Параметры (модель ИИ), KV-кэш