EMZETT.Hyperparameter-Suche und Bayessche Optimierung
Kurz: Hyperparameter sind Einstellungen, die man vor dem Training festlegt (Lernrate, Baumtiefe, Anzahl Schichten). Die Suche nach guten Werten kostet viel Rechenzeit, deshalb gibt es kluge Verfahren.
Einfache Wege
- Grid Search: alle Kombinationen eines Rasters ausprobieren. Gründlich, aber die Zahl wächst explosionsartig.
- Random Search: zufällige Kombinationen. Oft besser als Grid Search, weil nur wenige Hyperparameter wirklich wichtig sind und zufällige Werte mehr verschiedene Werte dieser wichtigen testen.
Bayessche Optimierung
Die Idee: Aus den bisherigen Versuchen baut man ein Ersatzmodell, das schätzt, wie gut ein neuer Wert wohl wird und wie unsicher diese Schätzung ist (oft ein Gauß-Prozess oder TPE). Eine Erwartungsfunktion wählt als Nächstes die Stelle mit großer Hoffnung oder großer Unsicherheit. So braucht man deutlich weniger Versuche.
Werkzeuge: Optuna, Hyperopt, Ray Tune.
Praxistipps
- Auf einem Validierungssatz bewerten, nie auf dem Testsatz (Training, Validierung und Test).
- Schlechte Versuche früh abbrechen (Successive Halving, Hyperband).
- Wichtigste zuerst: Lernrate (Batch, Epoche und Lernrate), dann Modellgröße.
- Zufallszahlen festhalten, damit Ergebnisse nachvollziehbar sind.
Siehe auch: Optimierer: SGD, Momentum und Adam