Дешевый вариант - VPN с windows сервера внутри Proxmox на роутер в офисе. Есть проблема защиты самого proxmox - он то будет наружу смотреть.
Красивый вариант - отдельная виртуальная машина на базе linux\mikrotik, на которой и будет висеть публичный адрес сервера у Hetzner и которая будет пересылать пакеты внутрь виртуальной сети, принимать VPN из офиса или даже напрямую от удаленных пользователей, защищать ваши виртуальные машины и proxmox.