Initialisierung, Normalisierung und Dropout

Kurz: Drei Hilfsmittel machen tiefes Training stabil: kluge Startwerte der Gewichte (Initialisierung), Normalisierung der Zwischenwerte und Dropout gegen Auswendiglernen.

Genauer: Ohne sie scheitert das Training bei tiefen Netzen oft an explodierenden oder verschwindenden Werten.

Im Detail

• Initialisierung: Nicht alle Gewichte auf null (sonst lernen alle Neuronen dasselbe). Zufallswerte mit passender Streuung: Xavier/Glorot für tanh/sigmoid, He/Kaiming für ReLU, damit die Werte über viele Schichten ähnlich groß bleiben.
• Batch Normalization: Normalisiert jeden Wert über den Batch auf Mittelwert 0 und Streuung 1, mit lernbarer Skalierung. Üblich bei Bildnetzen. Hängt von der Batchgröße ab.
• Layer Normalization: Normalisiert über die Merkmale eines einzelnen Beispiels. Standard in Transformern. RMSNorm ist eine schlankere Variante in modernen LLMs.
• Pre-Norm gegen Post-Norm: Moderne Transformer normalisieren vor dem Block, das stabilisiert das Training sehr tiefer Netze.
• Dropout: Beim Training werden zufällig Neuronen (zum Beispiel 10 %) ausgeschaltet. Das Netz kann sich nicht auf einzelne verlassen und überanpasst weniger. Bei der Nutzung ist Dropout aus.
• Weitere Regularisierung: Gewichtszerfall (Weight Decay), Datenvermehrung (Augmentation), frühes Stoppen.

Siehe auch: überanpassung-und-bias-varianz-abwägung, Neuronen, Schichten und Aktivierungsfunktionen