Технически операции выполняемые OpenVPN требуют ресурсов. Прежде всего процессора.
Да, он режет скорость, но косвенно.
Если вам нужна высокая скорость с OpenVPN на множестве пользователей - то нужно поднимать несколько каналов OpenVPN к одному и тому же серверу (пусть даже если это и будет сделано с одного и того же сервера, то есть фиктивно). На Хабре была подробная статья про это.
Работает потому что OpenVPN не нагружает все ядра процессора. Упомянутый метод позволяет распределить нагрузку на все ядра и повысить пропускную способность.