Какой самый легкий путь для создания модели с помощью машинного обучения?

Question

[KugekiSoto]

Мне нужно создать модель которая будет обнаруживать на потоку записи экрана с игрой (в 2д) искать обьект (желательно на opencv), но я в машинном обучении - 0, что порекомендуете?

Answer 1

[mayton2019]

Дело в том что рынок "машинного обучения" сильно перегрет. Каждый newcomer решает любую задачу маш-обучем даже если ему надо сложить 2 + 2. Я не шучу это действительно так. Доходит до смешного. Там где нужен фильтр низкой частоты или расчет арифметического среднего все пытаются втащить методы которые на два порядка сложнее и энергозатратнее.

По поводу вопроса. Допустим ты играешь в PacMan (желтый колобок который кушает белые точки на черном фоне) и ты хочешь просто найти пакмана - то тебе достаточно к примеру уменьшить размер экрана в 32 раза и тогда колобок станет размером в 1 пиксел (я предполагаю что он был размером 32 на 32). При усреднении цвета - брать max. Между черным и желтым - всегда выбирать желтый. Далее после того как колобок найден на мелком поле - и известны его координаты - можно двигаться в обратную сторону увеличивая масштаб. И за 5 итераций найти точные координаты ПакМана. В моём алгоритме вобщем-то нет никакого opencv. И я утверждаю что мой алгоритм менее ресурсоёмок чем все прочие подходы.

Впрочем это - просто идея. Ее можно бесконечно упрощать или улучшать. Возможен кейс когда враги скушали пак-мана и он будет плохо распознан моим методом. Вобщем есть огромное пространство для фантазии и алгоримизации без машинного обучения.

Comments

[rPman]

твой алгоритм можно улучить конкретно для пакмана, если его цвета редко используются в других объектах, ведь можно не выполнять скалинг 1х32 а просто брать каждый 32-ой пиксел как по оси X так и по оси Y, смещение подобрать таким образом чтобы все возможные цвета на этой позиции не пересекались для разных спрайтов, в крайнем случае при нахождении нужного пиксела допустим на позиции (a1+X,b1+Y) проверять еще пиксел (a2+X,b2+Y)

[mayton2019]

rPman, может сработать только для квадратного пакмана. Круглый - может "проскочить".

Answer 2

[Vindicar]

Не использовать машинное обучение, а сначала попробовать другие методы.
Если искомый объект подвергается только параллельному переносу, пробуй поиск по шаблону (opencv template matching).
Если он контрастен и также подвергается повороту и масштабированию, можешь искать по локальным особенностям (opencv feature matching).
Если известно максимальное смещение за кадр, можешь ускорить код, ведя поиск объекта только в окрестности предыдущего расположения.

И только если у тебя целая категория разнообразных, но похожих объектов, и ты готов предоставить неколько десятков тысяч изображений как с наличием, так и с отсутствием искомого объекта, только тогда стоит задумываться о машинном обучении.

Comments

[KugekiSoto]

Я уже пытался найти обьект с помощью первого, но обьект не слишком контрастен, пробовал все методы template matching, но безуспешно, конвертировал исходное изображение в серый, canny, но без толку.

[Vindicar]

KugekiSoto, пример объекта покажешь, или так и будем гадать?
Ты можешь перевести изображение в систему цветности HSV и искать по попаданию координат цвета в заданный диапазон, чтобы получить бинарную маску. А по этой маске уже искать.

[KugekiSoto]

Vindicar,
Вот скрин окна игры, , вот обьект, также пробовал искать в более маленьком окне -

[Vindicar]

KugekiSoto, А не проще будет за поплавок зацепиться, а не за крючок? Или они движутся относительно друг-друга?

[KugekiSoto]

Vindicar, Да, но у каждой удочки свой поплавок, конечно можно сделать проверку для каждого поплавка, но можно и сделать что бы пользователь сам по началу программы выбирал свою удочку с соответствующим поплавком.

[Vindicar]

KugekiSoto, ну или проверять все поплавки, и определять, какой даёт самый сильный отклик.

[KugekiSoto]

Vindicar, хорошо, соберу я фото всех поплавков, а каким методом будет лучше искать его на скрине?

[Vindicar]

KugekiSoto, попробуй поиск по локальными особенностям. Для каждого поплавка методом RANSAC ищи ближайшее соответствие. Какой поплавок дал наибольший коэффициент уверенности, тот и нашёлся.
Смотри функцию cv2.findHomography() и cv2-шную реализацию SIFT-дескриптора. Он тормознутый, но тебе ведь не нужно 60 fps?

[KugekiSoto]

Vindicar, а если в принципе нету разницы какой поплавок, просто главное чтобы он нашелся и отслеживать его позицию.

[KugekiSoto]

KugekiSoto, вот эта статья в принципе объясняет всю суть того что ты предложил?
https://pythobyte.com/cv2-findhomography-84257/

[Vindicar]

KugekiSoto, именно.
А определять какой поплавок нужно, чтобы понимать, какому отклику (т.е. какой позиции) доверять.