Boneliom

Это называется iKVM. Есть уже упомянутые iLO/iDRAC/iKVM - аппаратные компоненты в составе серверных либо "полусерверных" (матерей, куда ставится обычный проц, но память ECC). Либо просто отдельное устройство, втыкаемое в видео, клаву, мышь и выводимое в тырнет - называется kvm over IP.
Технически - это отдельный микрокомпьютер со своей прошивкой, который позволяет получить доступ, а также смонтировать ISO и переставить систему в случае чего удаленно.
Но это недешево.

гуглить: kvm over ip
на хабре есть статья самоделка

Дорогие не серверные материнки тоже могут иметь такой функционал в биосе, но все производители вместо единого стандарта пилят свое со своим названием (или берут готовый и лимитируют только на себя), это фича материнской платы, так что читай возможности и поддержку.

p.s. осторожно, удаленное управление разработчики делают не по стандарту не просто так, а чтобы контроль был через их облачные сервисы, логично с целью иметь доступ в случае чего ну и конечно с возможностью его не предоставлять, например в случаях как сейчас

upd. самое дешевое решение я рекомендую не городить устройство посредник, а собрать liveusb образ флешки с ос, в которой настроен удаленный доступ и автоопределение параметров подключения к сети, данный образ выдается клиенту по сторонним каналам (можно даже просто uefi сборку разместить на карте памяти смартфона, подключив его к компьютеру и выбрав режим sdcard в настройках, загрузиться с него, это самый ничего не требующий способ, потому что все можно будет сделать прямо со смартфона)

PiKVM протестировано, отлично работает. на минималке даже шуршит
https://pikvm.org/

На первом скриншоте - возможно выделенная для VM ОЗУ, на втором-потребляемая внутри VM.
Ну и так как guest tools не установлены - proxmox не получает нужную информацию изнутри VM.