Openvpn нагружает процессор, у VPS-ок он и так слабый и ограниченный., т.е. это может быть узким местом (плюс то же сжатие, которое в vpn часто включают по умолчанию не добавляет скорости)
Еще, ваш vpn занимает канал, т.е. на каждое подключение через vpn на сервер идут два подключения на одинаковой скорости, т.е. в идеальной ситуации вы сможете через vpn утилизировать только половину серверного канала, т.е. 50мбит (это если провайдер vps лимитирует сумму входящего и исходящего трафика).
p.s. настройте vpn на использование udp соединений а не tcp
У tcp в современном интернете проблемы с производительностью, очень хорошая
статья с примерами и тестами, в которой сказано что потери в канале на 5% понижают скорость от размера канала до 75%, на 10% - уже половина. В слоучае с vpn такие проблемы смело умножайте на два, так как сначала пакет идет на сервер а потом от сервера к вам.