Блок трансформера докладно

Коротко: Трансформер складається з багатьох однакових блоків. У кожного блока дві частини: увага (обмін інформацією між токенами) і MLP (дозволяє кожному токену «думати» самостійно), кожна з нормалізацією та наскрізним зв’язком.

Докладніше: Мовна модель складає, наприклад, від 32 до понад 100 таких блоків. Знання зосереджені переважно у вагах частин MLP.