Архітектура Transformer

Коротко: Transformer — це архітектура, що лежить в основі майже всіх сучасних мовних моделей. Її основна ідея — увага (attention).

Докладніше: У механізмі уваги модель обчислює для кожного токена, наскільки важливий кожен інший токен контексту для його розуміння. Це дає змогу вловлювати далекі зв’язки. Архітектуру було опубліковано 2017 року в статті «Attention Is All You Need».

Подробиці

• Шари: багато однакових блоків із уваги та мережі прямого поширення.
• Лише декодер (decoder-only): GPT, Llama, Qwen генерують текст токен за токеном.
• Квадратичне зростання: обчислення уваги зростає квадратично з довжиною контексту. FlashAttention та інші методи пом’якшують це.
• Позиції: обертові ембединги (RoPE) кодують порядок.

Див. також: Параметри (модель ШІ), KV-кеш