Имеют ли понятия остаточное и нулевое отклонение смысл при рассмотрении классификатора, отличного от линейной регрессии?

Question

[vldud]

Добрый день. Если я рассматриваю классифицирующую нейросеть или случайный лес, имеет смысл говорить о таких метриках как статочное и нулевое отклонение (residual deviance and null reviance)?

Answer 1

[dmshar]

Выскажу свое мнение. Указанные показатели характеризуют не метод, а результат. Т.е все равно, каким методом вы строите свою модель, их назначение оценить насколько построенная модель "хороша".
С другой стороны, данные метрики имеют семантический смысл в случае решения задач регрессионного типа. Для задач классификации - когда зависимый признак измерен в шкале более слабой, чем интервальная, - использование данных показателей смысла лишено . Там уже работают критерии на основе таблиц сопряженности Пирсона.
Таким образом, мой ответ на ваш вопрос - если с помощью нейросети или случайного леса вы решаете задачу регрессии - а это вполне возможно - то использование указанных метрик допустимо. В противном случае - нет.

Comments

[vldud]

dmshar, большое спасибо за ваш ответ. Проясните, пожалуйста, еще некоторые моменты.

С другой стороны, данные метрики имеют семантический смысл в случае решения задач регрессионного типа. Для задач классификации - когда зависимый признак измерен в шкале более слабой, чем интервальная, - использование данных показателей смысла лишено.

А что если я использую логистическую регрессию в задаче бинарной классификации?

Таким образом, мой ответ на ваш вопрос - если с помощью нейросети или случайного леса вы решаете задачу регрессии - а это вполне возможно - то использование указанных метрик допустимо.

Остаточное и нулевое отклонение определяются через правдоподобие насыщенной и нулевой модели:
Null Deviance = 2(LL(Saturated Model) - LL(Null Model))
Residual Deviance = 2(LL(Saturated Model) - LL(Proposed Model))
Что в контексте нейросети могут значить Saturated Model и Null Model?

[dmshar]

vldud,

А что если я использую логистическую регрессию в задаче бинарной классификации?

- не имеет значения, как (по недоразумению) этот метод обзывают, от этого суть не меняется. Т.е. это классифкация.

Что в контексте нейросети могут значить Saturated Model и Null Model?

"Нейросеть"- это не модель, а метод. Вот если вы с помощью этого метода строите регрессионную модель - тогда они будут обозначать то-же, что и в классическом случае - тривиальную модель и наиболее полную модель. А если с помощью нейросети вы строите классификационную модель - то скорее всего, они не будут значить ничего. (Я так предполагаю, хотя при желании и в этом случае можно придумать тривиальный классификатор и переобученный классификатор. Но у меня сейчас нет под рукой источников, что-бы проверить эту догадку. Может быть кто в теме - меня тут подправит).