Вам так критично работать с удаленным управлением на низком уровне или лучше взять готовые инструменты? Что то типа crome/firefox desktop sharing (гуглите, названия разные, стандарт пришел с десктопа).
Чуть более низкий уровень и достаточно старый протокол - vnc, библиотеки к нему есть наверное даже под чайники.
Еще есть штатные инструменты разработчика, с помощью adb.