У вас-то поди гигабит на провайдере дома?
У хостера 100 мегабит.
Но кто вам сказал что между вами и хостером по всей протяженности всегда жирный канал?
Я бы попробовал еще через утилиту iperf замерить.
Причем с разных точек, арендовав для этого в почасовку VDS у DigitalOcean, VScale.IO и пр.
Если скорость со всех этих точек будет низкой - меняйте хостера.
Но лучше, для начала, спросить у них в тех. поддержке.