Какой автокликер может искать объект?

Question

[Ukaliika]

Есть что-то вроде лайка под каждой записью, нужно настроить автокликер таким образом, чтобы он распознавал данный объект. Проблема в том, что записи не имеют строго определенной высоты (текст везде разный). Можете подсказать, какое ПО это делает ?
То есть:
Поиск объекта (предположим кнопка лайка)
Клик
Пролистывание вниз
Повтор

Comments

[VrencchBug]

Слишком пространно. Это может быть в браузере, в игре, на компе, на андроид, на айос, и даже на дисплее микроволновки. Во всех трех случаях софт совершенно разный.

[Ukaliika]

Андройд, на эмуляторе / телефоне, в приложении. Любой вариант подойдет. Есть что подсказать ?

[Alexej Simakov]

не совсем понятно вам нужен инструмент автоматизации или помощь в настройке имеющегося инструмента?

нужно настроить автокликер

тогда сообщите что за инструмент.

Можете подсказать, какое ПО это делает

для автоматизации в веб браузере используют в основном Selenium

Answer 1

[Антон Киселёв]

Я делал ту же задачу через Automatic Mouse and Keyboard

Answer 2

[Олег]

Для десктопа все, что было описано, умеет, например, Sikuli

Comments

[Alexej Simakov]

если кнопки имеют разный размер - будет проблемно с помощью сравнения изображений. хотя можно выделить какой-то общий уникальный графический элемент такой кнопки и использовать его. ...

[Олег]

SyavaSyava,

А сами пробовали? Реально он могёт кнопки находить на экране?

Да, использовал, чтобы автоматизировать рыбную ловлю в World of Warcraft (конечно же, исключительно в целях эксперимента). Если незнакомы с игровой механикой, то, коротко, процесс заключается в том, чтобы:

1. Найти на экране поплавок, который каждый раз оказывается в случайном месте
   
2. Отследить момент, когда поплавок начинает сильно качаться, и кликнуть по нему
   

Учитывая всю вариативность отображения поплавка (3D модель может быть отображена под разными углами, разное время суток, влияние цвета воды, мелкие перекрывающие объекты) удалось довести точность до 80%+.
Простые же изображения, например, кнопка, находятся без проблем.

если кнопки имеют разный размер - будет проблемно с помощью сравнения изображений. хотя можно выделить какой-то общий уникальный графический элемент такой кнопки и использовать его. ...

Если количество размеров кнопки ограничено, то можно все их вбить в скрипт. Также, из своего опыта работы с Sikuli, предполагаю, что можно в цикле ресайзить искомое изображение под все возможные размеры и искать перебором.

[Олег]

SyavaSyava,

А целевое изображение сравнивается с экранным "попиксельно", или допустимо некоторое отклонение - в размере, в цвете, и т.п.?

В функции поиска точно можно задать параметр "похожести" для нечеткого поиска.

Answer 3

[Владимир Куц]

Sikuli - там точность распознавания можно настроить.
В особо запущенных случаях я использовал связку pyscreenshot + OpenCV + pyautogui

Answer 4

[h4r7w3l1]

Браузер xpath/регулярки.
Не понятен вопрос, если это одно приложение допустим нативное на андройд, у которого сложный бэкэнд (однако разумней воссоздать общение запросами к серверу, получив высокую производительность и минимальные ресурсозатраты)
При условиях одного приложения, гибридное или нативное, конкретно действие тапа происходит не через webview(иначе выше в скобках), вполне элементарно автоматизировать в стоковом uiautomator. Можно не прибегать к юнит тестам с junit, если выполнить действие получиться хардварными кнопками.
В случае если на странице куча действий + скролл, элементарно реализуеться с junit, в 3-4 блока по 4 строчки кода.

Определиться с типом приложения (нативное или другое) а так-же определить какой путь реализации будет проще и быстрее можно после изучения xml дампа состояния экрана.
Открываем место где нужно будет кликать, через консольку получаем дамп встроенной тулзой uiautomator dump, считываем либо с памяти телефона либо копируем на ПК.

Подробнее в гугле море инфы. Первые два решения не требуют доп. софта, все что нужно минимальный скилл работы с консолью, bat/bash

Answer 5

[KiborBot]

Есть. Кибор
В нем есть все. От простого кликера, действия которого можно просто записать, до скриптового языка или визуального редактора кода (если не умеешь программировать) вплоть до распознавания объектов и текста.

Answer 6

[Alechka16]

Это хорошо делает Блок фокус в RepriseAssistant