Дерева рішень і випадкові ліси

Коротко: Дерево рішень ставить запитання «так/ні» про ознаки одне за одним, доки не прийде до відповіді. Випадковий ліс об’єднує безліч таких дерев, які голосують.

Докладніше: Під час кожного розбиття дерева обирають запитання, що найкраще розділяє дані (неоднорідність Джині або ентропія). Одне глибоке дерево легко перенавчається, безліч різних дерев це зрівноважує.