Сервер и вы находитесь рядом друг с другом или хотя бы в одном городе.
Тогда или забит канал до сервера, или канал не очень (сервер стоит в каком-то непонятном ДЦ, у которого подключен самый мелкий провайдер в городе), или у вашего провайдера и ДЦ нет прямого стыка, вот и может гонять вас через соседние провайдеры или города (смотрим трассировку).
Сервер находится в одном городе, а вы в другом и даже не в соседнем.
В таком случае, если у вас коммерческий сайт и аудитория у него из разных городов, подключайте для него CDN. Это позволит ускорить загрузку контента в разных городах за счет распределенной сети серверов CDN, которые кешируют статические файлы.
Варианты CDN провайдеров: SkyparkCDN, Ngenix, CDNvideo, ClouFlare.
