Nginx + php-fpm: где накапливается очередь для процессов и можно ли мониторить эту очередь?

Question

[topuserman]

Провожу нагрузочное тестирование конфигурации nginx + php-fpm.
Возник вопрос:

Например одновременно в nginx прилетает 1 000 запросов.
Пусть php-fpm способен процессить одновременно 100 запросов.

Что происходит с остальными 900 запросами, пока php-fpm процессит первую партию ?
То есть, где именно накапливается очередь? Nginx всю входящую пачку запросов проксирует сразу в php-fpm? Или у себя держит очередь и ждет освобождение менеджеров для процессинга запросов из очереди.

И второй вопрос: где и как можно наблюдать на этой очередью? Через htop не видно по очевидным причинам))

Comments

[Daria Motorina]

Возможно это поможет nginx.org/ru/docs/http/ngx_http_stub_status_module.html

[Максим Федоров]

может вам и не нужно знать про жту очередь а принять компромис архитектуры fpm
и для вашей задачи для нагруженного ендпоинта выбрать др решение?

например асинхронный фреймворк или др язык (голанг например)?

[Виталий Хоменко]

topuserman, напишите пожалуйста, если сможете найти подходящие инструменты

Answer 1

[Александр Карабанов]

Есть у Nginx нативный мониторинг NGINX Monitoring, в частности видно количество активных и ожидающих соединений.

Answer 2

[ky0]

С остальными 900 запросами, скорее всего, произойдёт 504. Для размазывания нагрузки можно поиспользовать модуль нгинкса limit_req.

Comments

[topuserman]

А чем этот модуль поможет, если узкое горлышко - в данном случае php fpm?

[ky0]

topuserman, как это чем? Он после достижения определённого порога начнёт задерживать запросы, равномерно распределяя их в соответствии с лимитом.

[Lynn «Кофеман»]

topuserman, а какого результата вы ожидаете если у вас php держит 200rps, а на входе 1000?

[batyrmastyr]

topuserman, если у вас постоянно 1000 запросов прилетает — то ничем, а если обычно прилетает 50, а иногда прилетает 1000, то можно их выстроить в очередь и разгрести секунд за 10 - 20.

Answer 3

[shiza88]

Подключить какой то сервер очередей, по типу того же бинсолка и и воркером в него пихать и отслеживать процесс работы