Ensemble-Methoden: Bagging, Boosting und Stacking

Kurz: Ensembles kombinieren viele einfache Modelle zu einem starken. Das gleicht Fehler aus: Viele leicht unterschiedliche Meinungen sind zusammen oft besser als eine einzelne.

Bagging

Man trainiert viele Modelle unabhängig, jedes auf einer zufälligen Stichprobe der Daten (mit Zurücklegen), und mittelt die Antworten. Das senkt die Streuung. Der Random Forest (Entscheidungsbäume und Random Forest) ist Bagging mit Bäumen.

Boosting

Die Modelle werden nacheinander trainiert. Jedes neue Modell konzentriert sich auf die Fälle, die die bisherigen falsch hatten. So sinkt die Verzerrung. Bekannte Umsetzungen: AdaBoost, Gradient Boosting, XGBoost, LightGBM, CatBoost. Bei Tabellendaten sind sie oft das beste klassische Verfahren.

Stacking

Mehrere verschiedene Modelle (Baum, SVM, Netz) liefern Vorhersagen, ein weiteres Modell lernt, wie man sie am besten kombiniert.

Merkregeln

1. Bagging: viele tiefe, unabhängige Modelle, gut gegen Überanpassung.
2. Boosting: viele flache, nacheinander lernende Modelle, sehr genau, aber empfindlicher für Rauschen.
3. Ensembles sind schwerer zu erklären, siehe Erklärbare KI: SHAP und LIME.

Siehe auch: Verlustfunktionen: MSE und Kreuzentropie, Klassifikation und Regression