Entscheidungsbäume und Random Forest

Kurz: Ein Entscheidungsbaum stellt nacheinander Ja-Nein-Fragen zu Merkmalen, bis er bei einer Antwort landet. Ein Random Forest kombiniert viele solcher Bäume, die abstimmen.

Genauer: Bäume wählen bei jeder Verzweigung die Frage, die die Daten am besten trennt (Gini-Unreinheit oder Entropie). Ein einzelner tiefer Baum überanpasst leicht, viele verschiedene Bäume gleichen das aus.

Im Detail

• Aufbau: Wurzel → Frage („Alter > 30?“) → Äste → Blätter mit Vorhersage.
• Vorteil: Gut lesbar, braucht kaum Vorverarbeitung, verarbeitet Zahlen und Kategorien.
• Random Forest: Hunderte Bäume, jeder auf einer Zufallsstichprobe der Daten und mit zufällig gewählten Merkmalen (Bagging). Ergebnis: Mehrheit oder Durchschnitt.
• Gradient Boosting: Bäume werden nacheinander gebaut, jeder korrigiert die Fehler der vorherigen (XGBoost, LightGBM, CatBoost). Auf Tabellendaten oft stärker als neuronale Netze.
• Merkmals-Wichtigkeit: Zeigt, welche Merkmale viel beitragen.
• Schwäche: Extrapolation außerhalb des Wertebereichs, Bilder und Text.

Siehe auch: Klassifikation und Regression, überanpassung-und-bias-varianz-abwägung