Какой процент распознавания точности артикула штучного товара на витрине по его внешнему виду считается «хорошим» а какой — «отличным»?

Question

[Роми]

сабж.

Например, есть фотка витрины на которой лежат пачки йогуртов разных брендов (30-40).

Скажем, все этикетками вверх, фотка под углом 45 градусов.

Нужно распознать все эти товары и их количество на витрине.

80% правильно распознанных товаров - это хороший процент точности?

А можно ли на практике достичь 90% точности для такого рода задач?

Какой процент - это реальный потолок при нынешнем уровне технологии?

Спасибо.

Answer 1

[Максим Припадчев]

Хороший или отличный процент точности в контексте данной проблемы будет определятся бизнесом (при помощи специалистов разумеется). То есть "Приносит ли прибыль модель распознавания". Он же бизнес (опять же при помощи специалистов) установит порог для точности и ИНТЕРВАЛ (процент будет в интервале). при котором данная модель прибыльна.

То есть точность модели это не некий уровень по индустрии, а бизнес вопрос при какой точности модели для бизнеса начинается выгода от применения.

Comments

[Роми]

Максим, интересует именно техническая часть проблемы.

100% - реально?

А 50% - реально?

Если на 1-й вопрос ответ - "нет", то на какой отметке ответ на оба вопроса составит - "да"?

[Максим Припадчев]

Роми, Ну хорошо давай подойдем с технической стороны вопроса. Скажу сразу разочарую я тут тебя.

И так есть ДАННЫЕ мы их разбили на тренировочный сет и тестовом сет И на тренировочном и на тестовом сете мы можем иметь очень высокую точность. Что не означает что модель будет работать в продакшене, почему можно осуществить утечку тестового сета во время тюнинга гиперпараметров или во время кросс валидации. И вот у нас есть условная точность в 95 процентов а на деле модель в продакшене посыпется.
По этому НАСТОЯЩИЙ ТЕСТОВЫЙ СЕТ заказчик вообще тебе не должен предоставлять. Соответственно, что значит 80% процентов или 90 процентов %. Без продакшена? Без бизнеса который сформировал задачу, друг мне надо 75% например, вот данные дели их там тестовый тренировочный, что хочешь делай настоящий тестовый сет у меня и тебе я его не дам вообще, сделаешь больше будет тебе премия.

Почему так что такое Обучение модели (простенько поговорим нам тут больше и надо):
Есть входные данные X в какой то форме скажем матрица например.
Есть Цель назовем его y - что то распознать
Есть функция f - которая определяет НАСТОЯЩИЕ отношения между X и y (мы ее не найдем)
есть наша функция f_estimator - это наша модель которая сопоставит X и y.
и есть ошибка error назовем ее E.
Итого имеем y = f_estimate(X) + E
E в свою очередь делится на две. редуцируемую ошибку и не редуцируемую, так вот цель машинного обучения это МИНИМИЗАЦИЯ редуцируемую ошибки, а к не редуцируемой оно не имеет никакого отношения, Она остается. От чего она зависит? Например какой подсет от данных ты получил от общего.

Например, есть фотка витрины на которой лежат пачки йогуртов разных брендов (30-40).

У тебя там ниже куча условий, откуда ты знаешь, что все они будут всегда выполняться на все сто, какого влияние освещения на фото, и т.д. и т.д.

По этому как обещал разочарую. К ответу добавить особо нечего. Это бизнес задача приносит ли выгоду твоя модель или нет? И в какой интервале должна лежать точность чтобы это имело смысл вводить такую модель.

[Роми]

Максим Припадчев, ну хорошо, будем считать что ответа на вопрос из сабжа не существует вовсе, так?))

[Максим Припадчев]

Роми, Абсолютно, мы имеем базовую модель ML которая что то там, классифицирует или регрессирует не важно. Так вот метрики ее перформанца существуют для улучшения базовой модели КОНКРЕТНОЙ ЗАДАЧИ. А создание некого бенмарка, вот столько то должно быть, вот столько то это круто. Нет так невозможно. Конкретные данные, конкретная задача и улучшение метрик на этих данных и этой задаче. Весь твой МИР это твои данные и твоя задача и все твои метрики релевантны только относительно этого твоего МИРА,