Как оценить эффективность функции потерь для практических задач?

Всем привет, хочу оценить эффективность моделей, которые предсказывают значения для реальных задач, например количество пользователей сайта в определенный день. У меня есть массивы с реальным количеством пользователей и массив выданный моделью. Пробовала разные метрики - RMSE, MAE, MSE и т.д. Пока нет опыта решения таких задач, поэтому сложно понять, какая метрика эффективнее для данных значений, как интерпретировать результат. Посоветуйте пожалуйста источники или литературу, что можно посмотреть по этой теме.
  • Вопрос задан
  • 85 просмотров
Пригласить эксперта
Ответы на вопрос 1
@dmshar
Вопрос некорректно сформулирован. Вернее - он сформулирован так, что ответить на него однозначно нельзя.
Потому-что на вопрос "Посоветуйте пожалуйста источники или литературу, что можно посмотреть по этой теме." - любой учебник по Machine Learning обязательно содержит хотя бы одну главу на эту тему.
А вот далее все зависит от ваших целей и задачи - а про этого мы без вас узнать ничего не можем
Если вы "Пробовала разные метрики" - это уже хорошо. Но вот непонятно, что вас смутило при этом. Почему возник вопрос? Что осталось непонятным?
Потому как в разных задачах помимо указанных вами (и еще ряда аналогичных) метрик используются и другие подходы, начиная от тривиальных ошибок I/II рода до AUC и ROC-кривых. А есть еще всякие информационное критерии Акаике, Байеса, Шварца и пр. И у каждого своя сфера применения и использования.
Главная проблема исследователя в области Data Sсience и Machine Learning лежит не в знании всяких методов - в данном случае метрик. Хотя и это немаловажно. А именно в умении "перевести" проблемы с языка прикладной области на язык математики перед применением инструментов, и в умении интерпретировать полученные результаты после их применения.
Поэтому для того, что-бы вам что-то конкретное советовать - надо понимать вашу конкретную задачу. "Предсказать количество пользователей" - это не цель, это просто некоторая учебная задача. Если это так, то и метод оценки вам должен быть задан. А вот если это реальная аналитическая проблема - тогда уже надо углубляться в проблему: зачем вы эти данные собираетесь предсказывать, что дальше делать с этими предсказаниями, как важны для вас ошибки и какие ошибки и т.д.
Так что увы, или уточняйте проблему, или самостоятельно копайте информацию по любым источникам, а лучше - книгам.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы