Допустимо ли неравномерное распределение данных по классам в обучающей выборке?

Question

[ivodopyanov]

В случае обучения простой feedforward сети с одним скрытым слоем и в случае предобучения при помощи RBM?

Answer 1

[Дмитрий Демидов]

Есть 2 случая:
1. В реальном мире, как и в выборке есть "перекос" распределения по классам, то есть какие-то объекты встречаются заведомо реже
2. В реальном мире "перекоса" нет.

В первом случае, лучше сохранить "перекос", в втором сгенерировать больше данных

Comments

[ivodopyanov]

Я так понимаю, что при таком перекосе размер mini-batch'а при градиентном спуске придется выбирать очень большим, чтобы в него попал хотя бы один самый редкий класс?

[Дмитрий Демидов]

ivodopyanov: я не специалист, но разве градиентный спуск используется в задачах классификации?

[Sergei Sudakov]

ivodopyanov: в общем случае таких ограничений нет. Даже если в какие-то мини-батчи не будут попадать объекты редкого класса, в другие-то будут, так что общее направление обучение поменяться не должно. Конечно, если редкого класса настолько мало, что он не попадает в большинство, нейронная сеть может его проигнорировать при обучении с любым размером батча.

[ivodopyanov]

Дмитрий Демидов: классификацию же вполне можно решать нейронными сетями

[Дмитрий Демидов]

ivodopyanov: а разве градиентный спуск используется для обучения сети? :) я просто не в курсе, но по-моему самый популярный метод для сетей - обратное распространение.

[ivodopyanov]

Дмитрий Демидов: слова "обратное распространение" по сути объясняют нам, как выглядит та функция (и её частные производные), которую мы хотим оптимизировать. В обычной регрессии оптимизируем расстояние от функции до исходных точек. В обратном распространении находим производные несколько другим путем. В сетях Хопфилда, например, третий вариант. А как минимизировать эту функцию, зная производные, - это уже другая задача. Самый простой - это градиентный спуск.

[Дмитрий Демидов]

ivodopyanov: ну ок, я сразу сказал, что совсем не специалист