Есть на Андроиде приложение для управления смартфоном рукой как курсором?

Question

[m4son]

Есть на Андроиде приложение для управления смартфоном рукой как курсором? Чтобы через фронталку отслеживало руку как курсор, и я мог лазить в настройках телефона, в других приложения тоже погружалось, например в ВК.

Comments

[rPman]

Есть софт, превращающий смартфон в компьютерную мышку (кстати хватит акселемометра), трекбол и т.п. Есть bluetooth трекбол (т.е. смартфон становится беспроводной мышью и клавиатурой)

но вот чтобы самим смартфоном так управлять этим же смартфоном, нет... хотя технически не должно быть проблем

[m4son]

rPman, не правильно поняли. Смартфон неподвижен. Он установлен вертикально. Я на расстоянии 1 м от него. И чтобы фронтальная камера отслеживала положение и жесты руки для управления курсором

[rPman]

m4son, я как раз понял, идея смартфоном распозновать изображение не нова, тот же проект дешевого клона apple vision из смартфона + дешевого vr-шлема, анализирует камерой смартфона положение рук на лету и позволяет взаимодействовать с элементами управления... но это все работало внутри приложения, и не управлялось чем то 'снаружи'

но технически тут никаких проблем нет, такое приложение можно разработать

Answer 1

[Олег]

Буду очень удивлен, если найдете такое приложение в плее.
а) Захват картинки с камеры возможен, только в активной активити, которая показывает хотя бы микро картинку.
б) Событие клика легко передать через adb (с внешнего устройства), а вот приложению запущенному в режиме поверх других окон ранее было нельзя (интересно как выкручивается тимвьювер)

В принципе, на уровне ядра(прошивки) сделать такое можно, а вот как публичное приложение для всех моделей имхо не реализуемо

Comments

[rPman]

работа с изображением с камеры возможна без его отображения (для меня больше вопрос как это сделать эффективно, например без кодирования видео потока с последующим его декодированием, т.е. нужен сырой raw поток с камеры), так же события клика спокойно симулируются инструментами talkback, созданными для разработки приложений accessibility помощи для незрячих людей или к примеру управления голосом.

[Олег]

Мобильное зрение копал к задаче распознования шк и куар.
Может и упустил скрытую возможность не отображать видео поток.
Но не верю, что в 12+ версиях андроида не зарезали такой доступ.
Уверен, что из фоновой службы недоступно.

АПИ для маломобильных запрещено использовать Всем, если приложение не выбрано как помощник по умолчанию. Плюс сперва придется пройти более пристальную модерацию.

Детектирование жестов есть в openCV (кажется) и какое-то в самом от гугла.

Но не думую, что там что-то реально работающее.

[Олег]

з.ы. Я тоже например хочу приложение умеющее подключаться к несколько WiFi Direct устройствам одновременно. И андроид не запрещается вызвать конект ко второму пиру при открытом первом.
Только вот сволочь какая - после этого виснет на инвайте.

Answer 2

[Денис Дрозд]

KinScreen