Как выбрать модель из трех примерно равных по ROC?

Question

[Максим]

Задача классификации. Обучил три модели Random Forest, XGBoost, CatBoost. Все три модели показывают примерно равный ROC и Accuracy, но на выходе мне нужны вероятности, а не предсказанный класс и тут возникают проблемы. Например на одном из семплов модели выдают вероятности xgb: 0.38, fr: 0.22, catboost: 0.31. Как видно разброс приличный. Можно ли усреднять эти вероятности? Какие техники обычно используются? Насколько я понимаю нужно тестировать модель на боевых данных и та что выдает лучший результат по EV, например, ту модель и выбрать в качестве конечной?

Answer 1

[Сергей]

Вообще сейчас тренд идет на то, чтобы объединять модели.
Коллегия экспертов работает лучше, чем каждый эксперт порознь.
Отталкивайтесь от этой догмы.

Comments

[Максим]

Но как это сделать? Усреднять вероятности или какие-то техники использовать? Про стэкинг слышал, но чем это отличается от усреднения?

[Сергей]

можно обучить простую нейронку на ваших примерах и откликах экспертов и желаемых выходных значениях системы
Т.о. в общем случае да нужно что-то делать. В частном случае возмите просто среднее от откликов.

P.S. Я имел ввиду такую сехему:
Эксперт1 \
Эксперт2 -+ нейронная сеть с 3*N входами и N выходами.
Эксперт3 /

Т.о. конечная нейронная сеть учится "понимать" экспертов и быть начальником для них :)

Answer 2

[xdgadd]

Погуглите стэккинг и бэггинг.