Почему лагают запросы между frontend (отдельный прокси) и backend (везде nginx)?

Question

[Hint]

Есть проксирующий сервер в OVH (Roubaix RBX7 - France) и сервер приложения в Мюнхене (ДЦ другой компании). На обоих серверах nginx и CentOS. Серверы достаточно мощные, каналы гигабитные, процессоры на прокси не загружены. Обрабатывают они около 1000 запросов в секунду в пике. По вечерам наступают проблемы: некоторые запросы подвисают на 1-5 секунд. Если запрос не идет на backend, то прокси отмечает мгновенно, проблем нет. Если на backend, то какой-то процент запросов начинает подвисать (грубо говоря 1 из 10), хотя основная масса выполняется так же быстро (ответ в браузер приходит где-то за 50 ms). Если зайти через консоль на прокси, то запросы через curl к backend так же лагают. Если зайти через консоль на backend, то запросы через curl (к самому себе) не лагают. Выходит, дело не в nginx. Более того, если делать запросы к backend с других серверов (через curl) тоже лагов нет. Получается проблема либо в системных настройках проксирующего сервера, либо в канале между OVH и backend. Подскажите, куда копать дальше.
На прокси исходящий плюс входящий трафик около 80 мегабит (канал гигабит). В данный момент (не пик) статус nginx.
Прокси:

Active connections: 11605 
server accepts handled requests
 3016792 3016792 36761410 
Reading: 0 Writing: 41 Waiting: 11560

В пике "Active connections" около 18 тысяч (в nginx 8 worker_processes, 2048 worker_connections, но дело не в nginx, curl тоже лагает).

Backend:

Active connections: 14 
server accepts handled requests
 118781210 118781210 118781116 
Reading: 0 Writing: 13 Waiting: 1

Answer 1

[Badbuka]

Проверьте mtu между сетями, пропингуйте полным пакетом, посмотрите нет ли где-то фрагментации.

Answer 2

[alfss]

Какая задержка между серверами в указанный вами период? Ping, traceroute, etc. Проблема сама по себе обычная, бек и фронт должны быть в одном дц.

Comments

[Hint]

Общее время при curl с прокси на backend 25 ms (полноценный http запрос).
Насколько я понимаю, если проблема была бы просто в канале, то падала бы скорость выполнения всех запросов, а не так, что 90% выполняется идеально (как ночью с минимальной нагрузкой), а 10% подвисает на несколько секунд.
Подозрение на какие-то системные лимиты, на работу неотключаемой защиты OVH. Ну или же просто на канал между двумя ДЦ (наименее вероятное на мой взгляд).

[Dmitry Tallmange]

Hint, неправильно понимаете. Вы можете упираться в сеть как на своих машинах, так и на оборудовании хостера и оператора: всё зависит от того где именно вас ставят в очередь. Симптомы очень похожи на задержку прохождения пакетов, рекомендую вам замерять сеть на своем интерфейсе и попросить у хостера графики загрузки интерфейса на их оборудовании.

[alfss]

Hint, выше верно все подметили. Попросит помощи у хостера или наймите человека который разбирается в администрировании.

Answer 3

[Vitaly Karasik]

Обрабатывают они около 1000 запросов в секунду в пике. По вечерам наступают проблемы:

А по вечерам больше нагрузка?

каналы гигабитные,

что показывает мониторинг - по траффику и кол-ву пакетов? Можно уткнуться в лимит по кол-во пакетов, если много маленьких.

куда копать дальше.

1) системные логи и логи апликаций
2) статистика NIC-ов
3) на прокси сервере - посмотреть на
sysctl fs.file-nr (https://access.redhat.com/documentation/en-us/red_...
впрочем, если дело в этом, то должны быть ошибки в логах

Answer 4

[Олег Клещук]

Проверьте через mtr/ping потерю пакетов. Вполне вероятно, что скорость хорошая, а пакеты между балансером и приложением пропадают.
В целом, чем у вас больше таких сетевых "ног" тем выше вероятность проблемы на какой из них.
Проще и правильнее сблизить балансер (ваш прокси) и приложение максимально, чтоб избежать таких вот неочевидностей

Answer 5

[Hint]

Во что именно упиралось, так и не понял. Но проблема была решена настройкой keepalive между серверами (было 1000 подключений в секунду от front к back, стало где-то 50). Трафик особо не упал, нагрузка на процессоры не снизилась, но задержка при открытии некоторых новых соединений между серверами пропала. Почему именно она возникала - не знаю. Может в том же OVH какие-то лимиты на оборудовании настроены...