Как эмулировать тап на экране или клик мыши?

Question

[JeremiSharkboy]

Суть вопроса: необxодимо удаленно нажать кнопку на экране смартфона( к примеру включить какое-то приложение или что то еще) по координатам. Как мне этого добиться без adb shell?

Answer 1

[PushnovN]

Всем добрый день.
По итогу решили вопрос после установки root-прав на Android и всё-таки через команды в терминале: input tap X Y и input swipe X1 Y1 X2 Y2.

public static Runtime rt;
public static Process process;
public static DataOutputStream os;

// Инициализируем переменные
rt = Runtime.getRuntime();
process = rt.exec("su");
os = new DataOutputStream(process.getOutputStream());

// Метод, исполняющий команды в терминале (можно выполнять в любом потоке).
// Примеры команд: 
//     input keyevent KEYCODE_VOLUME_DOWN
//     input tap 200 300
public static void execCommands(String... commands)
{
    try
    {
        for(int i = 0; i < commands.length; i++)
        {
            os.writeBytes(commands[i] + "\n");
            os.flush();
        }
    } catch (Exception e) { }
}

Если вдруг кто-то знает, как провернуть что-то подобное без root, буду премного благодарен. Интересуют свежие версии ОС (5.0+).

Answer 2

[Алексей]

Зависит от степени приемлемого геммороя. К примеру можно посмотреть на Appium. Или углубиться в UIAutomator. Это так, навскидку.

Comments

[Che_Bu_Rashka]

Скажите , а Appium разве не Браузерные приложения может тестировать? Обычные тоже. Я когда знакомился с ним, так подумал

[Алексей]

Appium - это имплементация протокола WebDriver для Android и iOS. Судя по отзывам - он неплохо тестирует обычные приложения для Android и как то не очень - сайты в браузерах или же обернутые во WebView сайты.

Так что вы не правы - он для тестирования обычных приложений в первую очередь нужен.

[JeremiSharkboy]

Алексей: с этим понятно.
Подскажите, а если с рутом, то есть ли ещё какое-то решение этой проблемы?
Телефон во время эмулирования тапов или кликов мыши на нём не может быть подключён к компьютеру, соответственно не будет возможности воспользоваться adb.
И самое главное, чтобы была возможность клика в любом приложении/меню/ещё_где-нибудь, что-то а-ля тимвьюера или rdp.

[Алексей]

Эм. Про тестирование был оффтоп не относящийся к вашему вопросу.

Если я правильно понял вашу задачу - на удаленном телефоне висит приложение на которое надо тапнуть. Следовательно - можно использовать что то позволяющее тапнуть. Appium это умеет. UIAutomator это умеет. Ничто не мешает вам использовать их в качестве протокола передачи действия.

Разумееется, самый простой вариант - тапнуть пальцами. Но есть другой вопрос - зачем вам это нужно и к чему ограничения на отсутствие adb shell? Может вам еще и сессию поддерживать нельзя?

UIAutomator

По сути, у вас должен висеть в памяти сервис (вирус, блин), который в определенное время тапнет по кнопке (разрешив тем самым списание денег, хе-хе-хе). Для этого вам достаточно использовать возможности UIAutomator для тапа по координатам или же каким то признакам кнопки (xpath, id, etc). Каким образом организовать передачу команды на UIAutomator - дело ваше, да и сложно будет подсказать не зная, откуда и как вы хотите передавать команды.

[JeremiSharkboy]

Алексей: давайте немного поясню суть проекта, чтобы было понятно, почему такие странные требования.
Телефон выступает в роли камеры. Этот телефон вешают на стенку, столб, квадрокоптер, ещё куда-нибудь. С внешним миром он связывается через 4G.
Задача: в режиме реального времени транслировать происходящее на экране телефона и отправлять телефону все нажатия на экран (для обеспечения возможности управления телефоном издалека).
На данный момент приложение транслирует экран в фоновом режиме. Теперь надо сделать возможность эмулировать тапы или клики мыши на телефоне, координаты тапов будут приходить по API через 4G. Таким образом надо эмулировать тапы по экрану вне зависимости от того, какое приложение сейчас запущено и активно на экране.
Нет никакой возможности подключить к телефону провод и компьютер.
Видел варианты, когда перед каждым запуском приложения нужно подсоединять телефон к компьютеру и устанавливать приложение через adb, но такой вариант ну очень неудобен.
Есть возможность установить root-доступ к телефону.
Может есть какой-то вариант, который бы подошёл?

[Алексей]

Если я правильно понял, у вас есть возможность однократно установить нужные приложения, а потом повесить телефон. При этом у вас есть координаты всех нужных элементов. И нет постоянной сессии связи.

Соответственно вам нужно написать сервис с использованием имеющегося для андроида UIAutomation API. В нем будут две части - сетевая, в которой вы по идее разберетесь без меня, и исполняющая.

Сетевая часть отвечает за прием команд и их расшифровку. Здесь думаю все просто и понятно для вас.

Для исполняющей части вам придется задействовать UiDevice - он умеет работать с хардварными кнопками, ротацией, кликать в произвольные места экрана и бить чёрта ступой.

В идеале, вы напишете обертку вокруг него, которая позволит исполнять все допустимые им команды обрабатывая запросы на них на лету. Хотя по описанию вам хватит только клика.

Подробности стоит искать в документации: тык!. На мой взгляд, это неплохое решения для данной задачи.

Если вам все еще непонятно - давайте ночью спишемся где нибудь и обсудим подробней решение.

[JeremiSharkboy]

Алексей: Как с вами связаться?

[Алексей]

JeremiSharkboy: nogert в телеграмме.