Пакетна та шарова нормалізація: стабілізація навчання

Коротко: Шари нормалізації приводять проміжні результати в мережі до стійкого діапазону; batch norm типова для мереж із зображень, layer norm — для трансформерів.

Докладніше: Під час навчання значення, які отримує шар, постійно змінюються, бо змінюються попередні шари. Це робить навчання повільним і нестабільним. Нормалізація утримує середнє та розкид активацій у сприятливому діапазоні.