Как оценить эффективность функции потерь для практических задач?

Question

[Jeilla]

Всем привет, хочу оценить эффективность моделей, которые предсказывают значения для реальных задач, например количество пользователей сайта в определенный день. У меня есть массивы с реальным количеством пользователей и массив выданный моделью. Пробовала разные метрики - RMSE, MAE, MSE и т.д. Пока нет опыта решения таких задач, поэтому сложно понять, какая метрика эффективнее для данных значений, как интерпретировать результат. Посоветуйте пожалуйста источники или литературу, что можно посмотреть по этой теме.

Answer 1

[dmshar]

Вопрос некорректно сформулирован. Вернее - он сформулирован так, что ответить на него однозначно нельзя.
Потому-что на вопрос "Посоветуйте пожалуйста источники или литературу, что можно посмотреть по этой теме." - любой учебник по Machine Learning обязательно содержит хотя бы одну главу на эту тему.
А вот далее все зависит от ваших целей и задачи - а про этого мы без вас узнать ничего не можем
Если вы "Пробовала разные метрики" - это уже хорошо. Но вот непонятно, что вас смутило при этом. Почему возник вопрос? Что осталось непонятным?
Потому как в разных задачах помимо указанных вами (и еще ряда аналогичных) метрик используются и другие подходы, начиная от тривиальных ошибок I/II рода до AUC и ROC-кривых. А есть еще всякие информационное критерии Акаике, Байеса, Шварца и пр. И у каждого своя сфера применения и использования.
Главная проблема исследователя в области Data Sсience и Machine Learning лежит не в знании всяких методов - в данном случае метрик. Хотя и это немаловажно. А именно в умении "перевести" проблемы с языка прикладной области на язык математики перед применением инструментов, и в умении интерпретировать полученные результаты после их применения.
Поэтому для того, что-бы вам что-то конкретное советовать - надо понимать вашу конкретную задачу. "Предсказать количество пользователей" - это не цель, это просто некоторая учебная задача. Если это так, то и метод оценки вам должен быть задан. А вот если это реальная аналитическая проблема - тогда уже надо углубляться в проблему: зачем вы эти данные собираетесь предсказывать, что дальше делать с этими предсказаниями, как важны для вас ошибки и какие ошибки и т.д.
Так что увы, или уточняйте проблему, или самостоятельно копайте информацию по любым источникам, а лучше - книгам.

Comments

[Jeilla]

Спасибо за ваш ответ, я еще учусь "переводить" проблемы на язык математики. В литературе по ML действительно всегда есть описание основных метрик, такой информации я много нашла. Мне бы очень помогло описание примеров задач к этим метрикам и критериям, почему выбрали именно этот инструмент в данном случае. Применительно к моей задаче, похоже что результаты лучше при использовании ассиметричных метрик, то есть когда модель недопредсказывает. Вот по этим метрикам информации уже поменьше, как и описаний понятных примеров как их применять. Таким образом, посоветуйте пожалуйста более практическую литературу с разборами примеров задач .

[dmshar]

Jeilla, С удовольствием бы, но увы. Я уже давно не читаю учебников. А в нужный момент для нужной задачи пытаюсь найти подходящий ответ или хотя-бы идею. Это уже в основном по статьям. А потом начинается этап экспериментального исследования. И разумеется, специальной "подборки примеров" или книг с такой "подборкой" у меня нет.

Вот вы говорите "что результаты лучше при использовании ассиметричных метрик" - во первых, асимметричность не говорит о том, что система лучше "недопредсказывает" или "перепредсказывает". А всего лишь говорит о том, что d(x,y) не равно d(x,y). К качеству предсказания это отношение имеет весьма далекое.
Кроме того остался открытым вопрос почему недопредскзание лучше "перепредсказания". Уж не путаете-ли вы это понятие с "переобучением"?
А вы представляете, что не существует метода предсказания на "конкретный день"? И что любой метод может оказаться лучшим или худшим по любой метрике просто из-за случайной компоненты в значениях вашего ряда? И что по предсказанию на определенный день вообще очень сложно оценивать качество модели. Ну и т.д.

Что-бы получить корректный ответ надо сформулировать корректный вопрос. Так вот его-то вы и не даете. В частности - какая конкретно цель заставляет вас отказаться от применения общеупотребительных оценок качества моделей временных рядов? Чем они плохи при решения вашей конкретной задачи? И вообще - а какой метод вы применяете? Сможете ответить - можно будет подумать в какую сторону копать дальше. А пока - вопрос примерно такой "мне не нравиться красные платья, какой цвет мне посоветуете" при том, что я ни вас ни ваше платье в глаза не видел. Не обижайтесь, но это так.