нет, не из-за конфигурации ВПС
для начала протестируйте скорость инета на самой VPS, можно с помощью этого бенчмарка
wget -qO- bench.sh | bash
во вторых wireguard может резать Ваш провайдер, особенно если сервер находится заграницей
можно попробовать напрямую протестить соединение с сервером - что то с него скачав к примеру по sFTP
но лучше с помощью iPerf
так же может быть низкая скорость до определенных локаций у самого хостера, но это не часто встречается
PS 2-3мб так то достаточно для работы)