Опираясь на
данный материал, можно сказать, что если в целевой функции, которую мы аппроксимируем нашей моделью, присутсвует шум, то переобучение - это подгонка модели под шумовые составляющие в обучающей выборке.
Если предполагается что каждый следующий этап обучения модели приводит к уменьшению ошибок на обучающей выборке, то границей обучения-переобучения может служить начало роста ошибок на тестовой выборке (выборке не участвующей в обучении).
