Сам столкнулся с такой ситуацией. Тоже сначала проявлялось на одном провайдере, но не было на другом.
С помощью iperf выяснил что в целом "тормозит" TCP трафик до VPS. При этом UDP в норме и выдаёт полную скорость по тарифу.
Есть сомнение про то, что это "замедление" со стороны провайдера, т.к. оно происходило у меня только в "часы пик". Примерно с 18 до 22 часов, когда все приходят с работы и залазят в интернет. Поэтому решил, что это какой-то перегруз в сети где-то по пути от меня то VPS. Иначе какой смысл тормозить трафик только в часы пик если "провайдер" решил, что это трафик до VPN?
Я взял VPS в другой стране, немного поближе. На несколько месяцев проблема решилась.
Пару дней назад и с этим сервером начались такие же проблемы в часы пик. Ладно хоть есть возможность переключится быстро на первый VPS.