Переобучение и компромисс смещения и дисперсии

Коротко: Переобученная модель запоминает обучающие данные и терпит неудачу на новых. Слишком простая модель учится слишком мало (недообучение). Цель — баланс между ними.

Подробнее: Ошибка модели складывается из смещения (систематического упрощения), дисперсии (чувствительности к конкретным обучающим данным) и шума. Больше сложности снижает смещение, но повышает дисперсию. Важна производительность на невиданных данных.