Возможно, скорость соединения на передаче больших файлов у вас скачет в следствии разных настроек TCP-протокола на сервере и на клиенте.
Fine-Tuning'ом TCP можно заниматься долго и безрезультатно, но можно достичь и заметных результатов.
Если используются linux-системы, попробуйте поиграться с TCP_congestion-avoidance алгоритмами
К примеру, вот хорошая статья на эту тему на хабре
