Yığın normalleştirme ve katman normalleştirme: eğitimi kararlılaştırmak

Kısaca: Normalleştirme katmanları, ağdaki ara sonuçları kararlı bir aralığa ölçekler; yığın normu görüntü ağları için, katman normu dönüştürücüler (transformer) için tipiktir.

Biraz daha ayrıntılı: Eğitim sırasında bir katmanın aldığı değerler, öncesindeki katmanlar değiştiği için sürekli değişir. Bu, öğrenmeyi yavaş ve kararsız yapar. Normalleştirme, etkinleştirmelerin ortalamasını ve yayılımını elverişli tutar.