Overfitting und Underfitting: Wenn Modelle auswendig lernen

Kurz: Ein Modell mit Overfitting kennt seine Trainingsdaten perfekt, versagt aber bei neuen Daten; Underfitting heißt, dass es auch die Trainingsdaten nicht gut lernt.

Genauer: Ziel von maschinellem Lernen ist Generalisierung: Ein Modell soll auf Daten gut sein, die es noch nie gesehen hat. Es gibt zwei typische Probleme: Es lernt zu wenig (Underfitting) oder zu viel Auswendiges (Overfitting).

Im Detail

Ein Bild dazu

Stell dir vor, du lernst für eine Prüfung nur die Lösungen der Übungsaufgaben auswendig. Bei den Übungsaufgaben bist du perfekt (kleiner Trainingsfehler), bei neuen Aufgaben scheiterst du (großer Testfehler). Das ist Overfitting. Wer dagegen nur oberflächlich lernt und selbst die Übungsaufgaben nicht löst, hat Underfitting (hoher Fehler überall).

Erkennen

Man teilt Daten in Training, Validierung und Test. Steigt der Fehler auf den Validierungsdaten, während der Trainingsfehler weiter sinkt, beginnt Overfitting. Die Lernkurven zeigen das: Beide Kurven bei Underfitting hoch, bei guter Anpassung beide niedrig und nah beieinander, bei Overfitting ein großer Abstand.

Gegenmaßnahmen bei Overfitting

• Mehr (und vielfältigere) Daten, Datenvermehrung.
• Einfacheres Modell, weniger Parameter.
• Regularisierung (L1/L2, Weight Decay), die große Gewichte bestraft.
• Dropout: zufällig Neuronen abschalten.
• Early Stopping: Training stoppen, wenn der Validierungsfehler steigt.
• Kreuzvalidierung zur verlässlicheren Prüfung.

Gegenmaßnahmen bei Underfitting

Ein ausdrucksstärkeres Modell (mehr Schichten, mehr Parameter), bessere Merkmale, längeres Training, weniger Regularisierung. Zwischen beiden Extremen liegt der Bias-Varianz-Kompromiss: Zu einfache Modelle haben hohen Bias (systematische Fehler), zu komplexe hohe Varianz (zu empfindlich für Zufälle in den Trainingsdaten). Bei sehr großen Sprachmodellen gilt Overfitting weniger als Problem, solange die Daten riesig und vielfältig sind, aber Auswendiglernen von Trainingsdaten kann dennoch auftreten (Datenschutz, Urheberrecht).

Siehe auch: Batch, Epoche und Lernrate, Daten, Merkmale und Labels, Gradientenabstieg