Деревья решений и случайные леса

Коротко: Дерево решений задаёт вопросы «да/нет» о признаках один за другим, пока не придёт к ответу. Случайный лес объединяет множество таких деревьев, которые голосуют.

Подробнее: При каждом разбиении деревья выбирают вопрос, лучше всего разделяющий данные (неоднородность Джини или энтропия). Одно глубокое дерево легко переобучается, множество разных деревьев это уравновешивает.