Самое простое, проверить наличие возможности подключения adb по сети, в последних версиях android (а в старых кастомных сборках типа lineageos давно уже) этот функционал уже имеется. В этом случае adb подключается с указанием ip и порта (он будет указан при включении этой фичи)
это будет выглядеть где то так:
adb pair 192.168.0.110:35049 580187
adb connect 192.168.0.110:40585
порт и пин будут случайными, на смартфоне в момент pair будет выскакивать запрос подтверждения на подключение
в каких то случаях pair не требуется (я так и не понял почему у меня на одном смартфоне без него не заработало) так как это один из вариантов
способ будет работать только в локальной сети (точнее при наличии прямого подключения), и не будет работать с мобильным интернетом.
-------------------
теперь про kvm -
пробросить устройство внутрь либо usb либо сразу
контроллер, на котором он весит (я так мышь с клавиатурой пробрасывал)