на сервер установите htop и включите его
замерьте скорость с клиента
вполне возможно слабый ЦП и идёт упор в него
так же замерьте скорость тырнета на самой впс -
wget -qO- bench.sh | bash
wget -qO- speedtest.artydev.ru | bash
Так же скорость может зависить от локации из которой подключаетесь, мож перегружена сеть до этой ВПС \ на магистрале
И да - провайдер может запросто резать WG, потому что он его видит
Или вообще трафик до зарубежных ресурсов. Или вообще до любых...