Lernkurven lesen und Training diagnostizieren

Kurz: Lernkurven zeigen Trainings- und Validierungsfehler über die Zeit oder über die Datenmenge und verraten, ob ein Modell über- oder unterangepasst ist und was als Nächstes helfen könnte.

Genauer: Wenn ein Modell schlecht ist, hilft Raten wenig. Lernkurven liefern eine Diagnose. Man zeichnet den Verlust (Loss) oder die Genauigkeit für Trainingsdaten und Validierungsdaten über die Epochen (oder über steigende Trainingsmenge).

Im Detail

Typische Muster

• Beide Kurven sinken und nähern sich an: gesundes Training.
• Trainingsfehler niedrig, Validierungsfehler deutlich höher oder steigend: Überanpassung. Gegenmittel: Regularisierung, Dropout, Early Stopping, mehr oder augmentierte Daten, kleineres Modell.
• Beide hoch: Unteranpassung. Gegenmittel: größeres Modell, bessere Merkmale, längeres Training, geringere Regularisierung, höhere Lernrate prüfen.
• Loss springt wild oder wird NaN: Lernrate zu hoch, instabile Daten, fehlerhafte Normalisierung.
• Loss sinkt kaum: Lernrate zu klein, Fehler im Code oder in den Labels, tote Neuronen.

Kurven über die Datenmenge

Zeichnet man den Fehler gegen die Größe des Trainingsdatensatzes, erkennt man: Nähern sich Training und Validierung auf hohem Fehlerniveau, helfen mehr Daten nicht, sondern ein besseres Modell oder Merkmale. Bleibt eine große Lücke, helfen meist mehr Daten oder stärkere Regularisierung.

Praktische Schritte

1. Basislinie und kleine Teilmenge (kann das Modell 100 Beispiele auswendig lernen? Wenn nicht, gibt es einen Fehler.)
2. Daten und Labels stichprobenartig ansehen.
3. Kurven in TensorBoard, Weights & Biases oder matplotlib beobachten.
4. Eine Änderung nach der anderen testen, Zufallssamen festhalten.
5. Auf dem Testset erst am Ende prüfen.

Weitere Kennzahlen

Neben dem Loss: Genauigkeit, Precision/Recall, F1, bei Sprachmodellen Perplexity, bei Bildern IoU. Schau auch auf Gradientengrößen und Gewichtsverteilungen, auf Lernratenpläne (Warmup, Cosine) und auf Unterschiede zwischen Gruppen (Fairness). Eine gute Kurve ersetzt nicht die inhaltliche Prüfung der Vorhersagen.

Siehe auch: Überanpassung und Bias-Varianz, Regularisierung und Early Stopping, Gradientenabstieg, Metriken