Во что именно упиралось, так и не понял. Но проблема была решена настройкой keepalive между серверами (было 1000 подключений в секунду от front к back, стало где-то 50). Трафик особо не упал, нагрузка на процессоры не снизилась, но задержка при открытии некоторых новых соединений между серверами пропала. Почему именно она возникала - не знаю. Может в том же OVH какие-то лимиты на оборудовании настроены...