Überanpassung und Bias-Varianz-Abwägung

Kurz: Ein überangepasstes Modell lernt die Trainingsdaten auswendig und versagt bei neuen Daten. Ein zu einfaches Modell lernt zu wenig (Unteranpassung). Gesucht ist die Balance dazwischen.

Genauer: Der Fehler eines Modells setzt sich aus Bias (systematische Vereinfachung), Varianz (Empfindlichkeit gegenüber den konkreten Trainingsdaten) und Rauschen zusammen. Mehr Komplexität senkt den Bias, erhöht aber die Varianz. Entscheidend ist die Leistung auf ungesehenen Daten.

Im Detail

• Aufteilung: Trainings-, Validierungs- und Testdaten. Der Testsatz wird nur am Ende benutzt.
• Kreuzvalidierung: Mehrfaches Aufteilen für stabilere Schätzungen.
• Lernkurven: Trainings- und Validierungsfehler vergleichen. Große Lücke = Überanpassung.
• Gegenmittel: Mehr Daten, einfachere Modelle, Regularisierung (L1/L2, Dropout), frühes Stoppen, Datenaugmentation.
• Data Leakage: Informationen aus den Testdaten gelangen ins Training und täuschen gute Werte vor.
• Kennzahlen: Genauigkeit, Precision, Recall, F1, ROC-AUC; Genauigkeit allein täuscht bei unausgewogenen Klassen.
• Verteilungsverschiebung: Echte Daten weichen vom Training ab.

Siehe auch: Gradientenabstieg und Lernen aus Daten, Neuronale Netze und Backpropagation