Training, Validierung und Test

Kurz: Daten werden in drei Teile geteilt: Training zum Lernen, Validierung zum Einstellen der Einstellungen (Hyperparameter) und Test für die ehrliche Endbewertung, die nur einmal angeschaut wird.

Genauer: Würde man nur auf den Trainingsdaten messen, belohnte man Auswendiglernen. Die Trennung zeigt, wie gut das Modell wirklich verallgemeinert.

Im Detail

• Hyperparameter: Einstellungen, die man vor dem Training wählt (Lernrate, Netzgröße, Schichtzahl). Parameter dagegen werden gelernt.
• Kreuzvalidierung: Daten in k Teile teilen, k-mal je einen Teil zur Validierung nehmen und den Durchschnitt bilden. Gut bei wenig Daten.
• Frühes Stoppen: Training beenden, wenn der Validierungsfehler wieder steigt.
• Zeitreihen: Nicht mischen, sondern nach Zeit trennen (Training früher, Test später).
• Leckage vermeiden: Vorverarbeitung (z. B. Skalierung) nur auf Trainingsdaten berechnen.
• Benchmarks: Wenn öffentliche Testfragen im Internet stehen, können Modelle sie beim Training gesehen haben (Kontamination), siehe benchmarks-für-sprachmodelle.

Siehe auch: Metriken: Genauigkeit, Precision, Recall und F1, überanpassung-und-bias-varianz-abwägung