1) Пинг, увы, ничего не говорит о качестве связи. ОН говорит, что могут быть потеряны ICMP пакеты. Но обычно у них самый низкий приоритет. И да, они могут теряться.
2) Надеюсь, все тесты делаем по кабелю, а не по WiFi?
3) Точно ли уверены, что все оборудование у вас работает нормально? Другое пробовали?
4) Сам входящий кабель проверяли?
5) Как интернет подключен?
6) Если уж и тестировать, то возьмите iperf и потестируйте хоть до своей vps.
Но как обычно, скорее всего проблема на вашей стороне, если только провайдер не из мухосранска...