Была похожая проблема при развертывании CHR на Hyper-V, решилась включением спуфинга mac-адресов в настройках сетевого адаптера виртуалки. Возможно стоит копать в этом направлении, с PVE дел не имел.
Как вариант использовать Direct Access - решение от M$ из коробки.
Есть минус - нужен отдельный сервер, клиентская ОС не ниже enterprise, хотя W10 enterprise можно сейчас оформить в виде подписки. Работает стабильно. На Хабре есть описание https://habr.com/ru/post/325458/