Блок трансформера подробно

Коротко: Трансформер состоит из множества одинаковых блоков. У каждого блока две части: внимание (обмен информацией между токенами) и MLP (позволяет каждому токену «думать» самостоятельно), каждая с нормализацией и сквозной связью.

Подробнее: Языковая модель складывает, например, от 32 до более чем 100 таких блоков. Знания сосредоточены в основном в весах частей MLP.