Что узнать, за счет чего растет качество модели?

Question

[doktr]

При добавлении признака в модель (например, нелинейную) растет ее качество. Как понять, выросло качество за счёт добавленного признака или за счёт увеличения сложности модели?

UPD: под сложностью модели не имеется в виду вычислительная сложность. Скорее, речь идет о том, что добавился признак и у деревьев (если их использовать) появилась возможность образовывать более сложное ветвление.

Answer 1

[Данил]

Если модель осталась той же (например, вы не изменили регуляризацию, не добавили пару новых слаев в нейронную сеть), сложность модели не изменилась.

Для оценки признаков используется feature importance. Некоторый библиотеки позволяют делать это "из коробки".

Comments

[doktr]

А если это не нейронная сеть с заранее известной структурой, а Random Forest или XGBoost? Добавил признак - увеличилось количество сплитов, то есть увеличилась сложность. Может и качество вырасти, но как узнать, из-за нового ли признака это произошло?

[Данил]

Cкорее всего, говорить о увеличении сложности можно будет, если вы явно измените параметры модели - увеличите максимальную глубину дерева или минимальное количество примеров в листовом узле.

Что касается качества признаков:

• Если вы решаете задачу регресии, можно посмотреть корреляцию числовых признаков с целевой переменной (correlation heatmap)
  
• У Random Forest или XGBoost, после обучения доступно такое свойство модели, как feature_importances_. Если новый признак имеет высокий скор, значит он вносит существенный вклад.
  

Answer 2

[dmshar]

Сначала надо определиться, а что-же вы понимаете под термином "сложность модели"?
Потому что "сложности" , действительно, бывают разные - как минимум "структурная" и "вычислительная". Но походе, вы их малость перепутали.
Возьмем ваш пример с Random Forest - увеличение количества сплитов не есть увеличение структурной сложности модели. Точно так-же, как и добавление новой переменной к нелинейной регрессионной модели заданного порядка не ведет к увеличению структурной сложности модели. А вот изменение - например - квадратичной модели на кубическую - ведет к изменению и структурной сложности и - как следствие - вычислительной.

Eсли это себе ясно представить, то становиться понятным, что введение нового признака в рамках одной модели - есть действие, результат которого влияет на "качество модели" (кстати, тоже требует определения, но предположим, что вы имеете ввиду "точность"). И структура тут вообще ни при чем. А изменение структуры модели с квадратичной на кубическую может привести к аналогичному увеличению точности модели даже без добавления новых переменных.