Кросс-валидация и разделение данных: честное тестирование моделей

Коротко: Обучающие, валидационные и тестовые данные должны оставаться раздельными; кросс-валидация использует данные несколько раз в меняющихся ролях, чтобы надёжнее оценить качество.

Подробнее: Модель, измеренная на обучающих данных, — жулик: она видела ответы. Истинное качество (обобщение) показывают только незнакомые данные.