Karar ağaçları ve rastgele ormanlar

Kısaca: Bir karar ağacı, bir yanıta ulaşana dek özellikler hakkında art arda evet-hayır soruları sorar. Rastgele orman, oy veren birçok böyle ağacı birleştirir.

Biraz daha ayrıntılı: Her bölünmede ağaçlar verileri en iyi ayıran soruyu seçer (Gini safsızlığı veya entropi). Tek bir derin ağaç kolayca aşırı uyum gösterir, birçok farklı ağaç bunu dengeler.