Хороший или отличный процент точности в контексте данной проблемы будет определятся бизнесом (при помощи специалистов разумеется). То есть "Приносит ли прибыль модель распознавания". Он же бизнес (опять же при помощи специалистов) установит порог для точности и ИНТЕРВАЛ (процент будет в интервале). при котором данная модель прибыльна.
То есть точность модели это не некий уровень по индустрии, а бизнес вопрос при какой точности модели для бизнеса начинается выгода от применения.
Роми, Ну хорошо давай подойдем с технической стороны вопроса. Скажу сразу разочарую я тут тебя.
И так есть ДАННЫЕ мы их разбили на тренировочный сет и тестовом сет И на тренировочном и на тестовом сете мы можем иметь очень высокую точность. Что не означает что модель будет работать в продакшене, почему можно осуществить утечку тестового сета во время тюнинга гиперпараметров или во время кросс валидации. И вот у нас есть условная точность в 95 процентов а на деле модель в продакшене посыпется.
По этому НАСТОЯЩИЙ ТЕСТОВЫЙ СЕТ заказчик вообще тебе не должен предоставлять. Соответственно, что значит 80% процентов или 90 процентов %. Без продакшена? Без бизнеса который сформировал задачу, друг мне надо 75% например, вот данные дели их там тестовый тренировочный, что хочешь делай настоящий тестовый сет у меня и тебе я его не дам вообще, сделаешь больше будет тебе премия.
Почему так что такое Обучение модели (простенько поговорим нам тут больше и надо):
Есть входные данные X в какой то форме скажем матрица например.
Есть Цель назовем его y - что то распознать
Есть функция f - которая определяет НАСТОЯЩИЕ отношения между X и y (мы ее не найдем)
есть наша функция f_estimator - это наша модель которая сопоставит X и y.
и есть ошибка error назовем ее E.
Итого имеем y = f_estimate(X) + E
E в свою очередь делится на две. редуцируемую ошибку и не редуцируемую, так вот цель машинного обучения это МИНИМИЗАЦИЯ редуцируемую ошибки, а к не редуцируемой оно не имеет никакого отношения, Она остается. От чего она зависит? Например какой подсет от данных ты получил от общего.
Например, есть фотка витрины на которой лежат пачки йогуртов разных брендов (30-40).
У тебя там ниже куча условий, откуда ты знаешь, что все они будут всегда выполняться на все сто, какого влияние освещения на фото, и т.д. и т.д.
По этому как обещал разочарую. К ответу добавить особо нечего. Это бизнес задача приносит ли выгоду твоя модель или нет? И в какой интервале должна лежать точность чтобы это имело смысл вводить такую модель.
Роми, Абсолютно, мы имеем базовую модель ML которая что то там, классифицирует или регрессирует не важно. Так вот метрики ее перформанца существуют для улучшения базовой модели КОНКРЕТНОЙ ЗАДАЧИ. А создание некого бенмарка, вот столько то должно быть, вот столько то это круто. Нет так невозможно. Конкретные данные, конкретная задача и улучшение метрик на этих данных и этой задаче. Весь твой МИР это твои данные и твоя задача и все твои метрики релевантны только относительно этого твоего МИРА,
Средний
Средний
