Инициализация, нормализация и dropout

Коротко: Три вспомогательных приёма делают глубокое обучение устойчивым: умные начальные значения весов (инициализация), нормализация промежуточных значений и dropout против заучивания.

Подробнее: Без них обучение глубоких сетей часто срывается из-за взрывающихся или исчезающих значений.