Обучение, валидация и тест

Коротко: Данные делят на три части: обучение — чтобы учиться, валидация — чтобы настраивать параметры (гиперпараметры), тест — для честной итоговой оценки, на которую смотрят только один раз.

Подробнее: Если бы вы измеряли только на обучающих данных, вы бы поощряли заучивание. Разделение показывает, насколько хорошо модель действительно обобщает.