Как найти изображение на экране телефона в игре?

Question

[Keliorw]

Мне надо реализовать функцию, которая будет искать на экране кнопку и нажимать на неё, на Android. Пробовал OpenCV java, но ничего не вышло, так как материала мало и особо разобраться у меня не получилось.((

В связи с тем что я не смог понять как мне это сделать, обращаюсь к более опытным кодерам, для решения моей проблемы, подскажите как мне это сделать?

Comments

[Сергей Карбивничий]

Не нужно здесь задавать один и тот же вопрос!

[twobomb]

Это кнопка всегда в разных местах?

[Keliorw]

twobomb, Да, поэтому и нужно её искать на экране

[Keliorw]

Сергей Карбивничий, Тот вопрос удалил, по рпичине 3.1 поэтому мне приходится ещё раз его задавать, так как ответа я не получил

[twobomb]

Если будешь это использовать всегда на одном разрешении, то возможно имеет смысл определять банально по нескольким пикселям из кнопки, без всяких распознаваний.

[Keliorw]

twobomb, Ну по цвету пикселей не вариант, сразу, так как есть пиксели аналогичного цвета в других местах на экране

[twobomb]

Keliorw, с чего бы вдруг? Я не говорю тупо цвет искать, говорю искать определенную последовательность пикселей. Например последовательность если провести линию по середине от левой границы по правой. Ну можно проверять вообще полное совпадения пикселей, ну я думаю небольшой последовательности будет достаточно, ну тесты покажут.
Ну всеравно проверять всю картинку, возможно трудозатратно будет. Желательно оптимизировать как нибудь, ну если кнопка появляется в определенных областях, то делать поиск именно в них. Если постоянно рандомно, то не начинать проверять каждый пиксель, а проверяет например каждый десятый, пока не встретим цвет фона кнопки, а когда встретили этот цвет, проверять область вокруг. Ну крч нужно если скорости будет не достаточно, нужно будет подумать как оптимизировать и ускорить поиск.

[Keliorw]

twobomb, А можно какой-нибдь пример кода, на каком-нибудь языке, так как мысль хорошая, но как написать я пока-тчо не представляю, разве что на python, но он не вариант

[Keliorw]

И допустим мне нужна последовательность пикселей, для этого же мне надо сдлеать мнимок экрана телефона и обрабатывать его в идеале 24 раза в секунду. Но тут я столкнулся с проблемой, что не совсем понимаю как его сделать кодом

[twobomb]

Keliorw, 24 раза в секунду? Нахрена так часто?
Код не предоставлю и для андроида подобные приложения с таким уровнем доступа не писал. Ну полюбому есть какие-нибудь методы которые позволяют получить контекст экрана и вызвать событие тапа. Пиши на java естественно если это для андроида.
Если это какой-нибудь код бота или чита и не обязательно чтобы он работал на андроиде, поставь эмулятор на комп и пиши на любом языке, лучше конечно по быстродействию C++

[Keliorw]

twobomb, Мне к сожалению обязательно под Android надо

[twobomb]

Keliorw, Ну первое что попалось по получению экрана https://russianblogs.com/article/1948438548/, а по поводу эмуляции тапа, проблемки. Сразу найти не удалось, говорят что такими правами обладают системные программы, тоесть которые подписаны соответвующим сертификатом. Возможно рутовать придется, ну боюсь с вашими навыками это сделать не удасться.