Как объяснить переобучение в терминах сигнал-шум?

Question

[MonsterAndrew]

Как можно объяснить переобучение в терминах сигнал-шум?
Где граница обучение-переобучение?

Answer 1

[dmshar]

Вообще-то говоря, в каких терминах объяснять - все равно, т.к. явление переобучения - это когда ваша модель отлично работает на обучающей выборке (ну наверное, в вашем случае - отлично отделяет сигнал от шума на тех данных, на которых вы ее обучаете) и плохо, т.е. с большим количеством ошибок, - на тестовых данных. Четкой границы вообще-говоря нет. Как многое в статистике и машинном обучение - все определяется исходя из здравого смысла и семантики в терминах прикладной предметной области. Иногда, правда можно применить "полуформальные" методы, например - метод "колена" в кластерном анализе, но и там все равно за исследователем остается свобода выбора конечного решения.

Answer 2

[Alexander]

Опираясь на данный материал, можно сказать, что если в целевой функции, которую мы аппроксимируем нашей моделью, присутсвует шум, то переобучение - это подгонка модели под шумовые составляющие в обучающей выборке.
Если предполагается что каждый следующий этап обучения модели приводит к уменьшению ошибок на обучающей выборке, то границей обучения-переобучения может служить начало роста ошибок на тестовой выборке (выборке не участвующей в обучении).