А какая разница, если у клиента какое-нибудь неповоротливое гуано в качестве сервера? И что там у него за соединение? Http? Или может Tcp/ip? Или http2?
Можно попробовать на своем сервере сделать пул keep-alive соединений, чтобы минимизировать хендшейки, если речь про http.
Так или иначе, скорость будет равна скорости самого медленного звена в этой цепи.