запустите mtr с обоих сторон - проверьте на каком узле потери.
попробуйте перенести VPS в другой ЦОД
>speedtest.net
он измеряет скорость до конкретного сервера speedtest, который находится совсем в другой локации.
>Обнаружил проблему со скачиванием больших файлов
VPN? squid? http? ftp?
скорость VPN как правило отличается, в отличие от нешифрованного подключения. Зависит от конечного маршрута, нагрузки CPU, настройки типа шифрования клиента/сервера и фокусов провайдеров, которые могут шейпить траффик.