Подключение перестаёт устанавливаться, потому что возникает асимметричная маршрутизация: ответный трафик с сервера до IP-адреса вашего компьютера начинает маршрутизироваться через VPN, с IP-адреса сервера VPN, а не адреса вашего сервера.
Пакет даже может дойти до вас (зависит от настроек VPN-сервера), но ваш компьютер не может связать запрос и ответ из-за несовпадения IP-адресов.
Необходимо настроить либо policy routing для каждого интерфейса (в особенности, для физического интерфейса сервера), либо настроить RDP-сервер на bind к физическому интерфейсу (и убедиться, что у вас сохраняется маршрут по умолчанию через не-VPN-интерфейс, но при этом имеет метрику выше).