Regularisierung und Early Stopping: Überanpassung bremsen

Kurz: Regularisierung bestraft zu komplexe Modelle, und Early Stopping beendet das Training, bevor das Modell Trainingsdaten auswendig lernt; beides verbessert die Leistung auf neuen Daten.

Genauer: Ein Modell mit sehr vielen Parametern kann die Trainingsdaten fast perfekt abbilden und dabei Rauschen mitlernen. Auf neuen Daten schneidet es dann schlechter ab (Überanpassung, Overfitting). Regularisierungsverfahren halten das Modell einfach genug.

Im Detail

L2- und L1-Regularisierung

Zur Verlustfunktion kommt ein Strafterm für große Gewichte:

• L2 (Ridge, Weight Decay): Summe der Quadrate der Gewichte. Zieht alle Gewichte Richtung null, aber selten genau auf null. Standard in neuronalen Netzen (weight_decay).
• L1 (Lasso): Summe der Beträge. Setzt unwichtige Gewichte exakt auf null und wählt so Merkmale aus.
• Elastic Net: Mischung aus beiden. Ein Parameter (λ bzw. alpha) steuert die Stärke; er wird per Kreuzvalidierung gewählt.

Dropout und Datenaugmentation

• Dropout: Beim Training werden zufällig Neuronen ausgeschaltet; das Netz kann sich nicht auf einzelne verlassen.
• Datenaugmentation: Trainingsdaten künstlich vergrößern (Bilder drehen, spiegeln, Rauschen).
• Weniger Parameter oder kleinere Netze, mehr Daten sammeln.
• Ensemble-Methoden mitteln mehrere Modelle.

Early Stopping

Man beobachtet den Validierungsfehler während des Trainings. Sinkt er nicht mehr oder steigt er wieder, während der Trainingsfehler weiter fällt, wird abgebrochen und das beste Modell behalten:

# Keras
EarlyStopping(monitor="val_loss", patience=5, restore_best_weights=True)

patience ist die Anzahl Epochen ohne Verbesserung, die man abwartet. Einfach und sehr wirksam.

Diagnose

Lernkurven zeigen es: Trainingsfehler niedrig, Validierungsfehler hoch bedeutet Überanpassung (mehr Regularisierung, mehr Daten). Beide hoch bedeutet Unteranpassung (komplexeres Modell, bessere Merkmale, längeres Training). Teste nie auf Daten, die du zur Auswahl der Regularisierungsstärke genutzt hast; dafür bleibt ein unberührter Testdatensatz.

Siehe auch: Überanpassung und Bias-Varianz, Initialisierung, Normalisierung und Dropout, Training, Validierung und Test, Verlustfunktionen