Batch Normalization und Layer Normalization: Training stabilisieren

Kurz: Normalisierungsschichten skalieren Zwischenergebnisse im Netz auf einen stabilen Bereich; Batch Norm ist typisch für Bildnetze, Layer Norm für Transformer.

Genauer: Beim Training verändern sich die Werte, die eine Schicht erhält, ständig, weil sich die Schichten davor ändern. Das macht Lernen langsam und instabil. Normalisierung hält Mittelwert und Streuung der Aktivierungen in einem günstigen Bereich.

Im Detail

Batch Normalization

Für jede Merkmalsgröße wird über den Mini-Batch der Mittelwert μ und die Standardabweichung σ berechnet und abgezogen bzw. geteilt:

x̂ = (x − μ) / √(σ² + ε)
y = γ · x̂ + β

γ und β sind lernbare Parameter, die die Skalierung wiederherstellen können. Vorteile: schnelleres Training, höhere Lernraten möglich, leichte Regularisierung. Beim Einsatz (Inferenz) nutzt man gleitende Mittelwerte statt Batch-Werten. Nachteil: Abhängigkeit von der Batch-Größe (kleine Batches sind verrauscht).

Layer Normalization

Normalisiert innerhalb eines einzelnen Beispiels über alle Merkmale einer Schicht, unabhängig von der Batch-Größe. Deshalb Standard in Transformern und Sprachmodellen (sowie in RNNs). Varianten: RMSNorm (nur Skalierung, ohne Mittelwert, schneller und in vielen modernen Sprachmodellen genutzt), Pre-Norm gegenüber Post-Norm (Normalisierung vor oder nach der Unterschicht; Pre-Norm trainiert meist stabiler).

Weitere Verfahren

Group Norm (Gruppen von Kanälen, gut bei kleinen Batches, zum Beispiel in Bildgenerierung), Instance Norm (Stilübertragung), Weight Norm, Spectral Norm (GANs). Welche Normalisierung passt, hängt von Architektur und Batch-Größe ab.

Praxis

In PyTorch: nn.BatchNorm2d(kanaele), nn.LayerNorm(dim). Setze das Modell vor der Auswertung in den Auswertungsmodus (model.eval()), sonst verwendet Batch Norm Batch-Statistiken und Ergebnisse schwanken. Kombiniere mit sinnvoller Initialisierung, passender Lernrate und gegebenenfalls Gradient Clipping.

Siehe auch: Initialisierung, Normalisierung und Dropout, Der Transformer-Block, Gradientenabstieg, Faltungsnetze (CNN)