У вас интернет через ADSL? (
ru.wikipedia.org/wiki/ADSL)
Если да, то причина в асимметричности.
К примеру, у распространенного Annex M входящая (те скачивание) до 24 Мбит/с, а вот исходящая (те закачивание на сервер в вашем случае) 3,5 Мбит/с.
Естественно цифры для идеальных условий.
В реальности скорости обычно ниже.