@khrisanfov
Программист

Как выбрать модель из трех примерно равных по ROC?

Задача классификации. Обучил три модели Random Forest, XGBoost, CatBoost. Все три модели показывают примерно равный ROC и Accuracy, но на выходе мне нужны вероятности, а не предсказанный класс и тут возникают проблемы. Например на одном из семплов модели выдают вероятности xgb: 0.38, fr: 0.22, catboost: 0.31. Как видно разброс приличный. Можно ли усреднять эти вероятности? Какие техники обычно используются? Насколько я понимаю нужно тестировать модель на боевых данных и та что выдает лучший результат по EV, например, ту модель и выбрать в качестве конечной?
  • Вопрос задан
  • 188 просмотров
Пригласить эксперта
Ответы на вопрос 2
begemot_sun
@begemot_sun
Программист в душе.
Вообще сейчас тренд идет на то, чтобы объединять модели.
Коллегия экспертов работает лучше, чем каждый эксперт порознь.
Отталкивайтесь от этой догмы.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы