Спидтестом вы проверили в худшем случае скорость порта, в лучшем - до соседней стойки (дома - до сети местного магистрального провайдера).
Пропускную способность канала между вами и сервером стоит проверять чем-нибудь вроде iperf`а. Если без впна она тоже болтается в районе 100 Мбит/с, значит особо с этим ничего не поделаешь.