Проверьте через mtr/ping потерю пакетов. Вполне вероятно, что скорость хорошая, а пакеты между балансером и приложением пропадают.
В целом, чем у вас больше таких сетевых "ног" тем выше вероятность проблемы на какой из них.
Проще и правильнее сблизить балансер (ваш прокси) и приложение максимально, чтоб избежать таких вот неочевидностей
