Пакетная и слоевая нормализация: стабилизация обучения

Коротко: Слои нормализации приводят промежуточные результаты в сети к устойчивому диапазону; batch norm типична для сетей по изображениям, layer norm — для трансформеров.

Подробнее: Во время обучения значения, получаемые слоем, постоянно меняются, так как меняются предшествующие слои. Это делает обучение медленным и нестабильным. Нормализация удерживает среднее и разброс активаций в благоприятном диапазоне.