Видимо, при включенном ВПН у вас меняется шлюз по умолчанию и весь трафик идет через ВПН.
Это реально может сильно снизить скорость.
Если ВПН вам нужен именно для такого использования, то скорее всего стоит перенести сервер на другую площадку.
Если же ВПН вам нужен, например, для доступа в корпоративную сеть, то стоит убрать настройку шлюза по умолчанию из конфига ВПН сервера.