Nginx + PHP-FPM + Yii = почему появляется ошибка 504?

Question

[GT_Volk]

Дано:
Есть вэб сервер с установленными Nginx, php-fpm и MySQL, на нем несколько парсеров XML обрабатывают десятки тысяч файлов и кладут их в базу среднее время обработки 3-5 минут, написанно это все на Yii.
Суть проблемы такова:
Если запустить любой парсер то в течении этих 5 минут пока он работает на любые обращения к остальным страницам ресурса вэб сервер выдает 504 Gateway Time-out
При этом если на том же сервере я запускаю старую версию парсеров написанных на чистом php то 504 ошибки не возникает и мне удается запустить их по несколько штук параллельно и без затруднений открывать другие страници ресурса.

Ошибки в логах только у Nginx:

2014/07/16 14:25:27 [error] 11665#0: *9 upstream timed out (110: Connection timed out) while reading response header from upstream, client: 37.#.#.#, server: #####.ru, request: "GET /index.php?r=loading/parsenotifications HTTP/1.1", upstream: "fastcgi://127.0.0.1:9000", host: "#####.ru", referrer: "http://#####.ru/index.php?r=loading/index"

2014/07/16 14:25:29 [error] 11665#0: *12 upstream timed out (110: Connection timed out) while reading response header from upstream, client: 37.#.#.#, server: #####.ru, request: "GET /index.php?r=loading/parsecontracts HTTP/1.1", upstream: "fastcgi://127.0.0.1:9000", host: "#####.ru", referrer: "http://#####.ru/index.php?r=loading/index"

Answer 1

[Александр Мелеховец]

Есть подозрение, что лочатся файловые сессии. Попробуйте их не использовать, или использовать сессии в базе, если они нужны (только осторожнее с race conditions). Вот тут подробнее. Ну и да, ещё лучше будет парсеры запускать через консоль, а не через веб-сервер.

Comments

[GT_Volk]

Спасибо большое!
Я уже голову изломал в чем может быть дело а проблема оказалась там где и подумать не мог.
Отключил сессии и 12 парсеров отработали параллельно.

Answer 2

[Сергей Протько]

вынесите парсер в CLI-демон и просто свяжите все это дело вместе через RabbitMQ например.

Answer 3

[_ _]

А как парсеры запускаются?

Comments

[GT_Volk]

Кнопками которые яваскриптом открывают новые окна:
open("index.php?r=loading/parsenotifications", "index.php?r=loading/parsenotifications", "menubar=yes");
open("index.php?r=loading/parsecontracts", "index.php?r=loading/parsecontracts", "menubar=yes");
open("index.php?r=loading/parseplans", "index.php?r=loading/parseplans", "menubar=yes");

Answer 4

[Дмитрий Энтелис]

Тут много всего может быть.
1) перегруз mysql по нагрузке, по количеству соединений (наиболее вероятно)
2) парсеры если их сразу стартует много и вы их пускаете не из консоли выбирают воркеры nginx

Comments

[GT_Volk]

1) Точно такие же парсеры на чистом php отрабатывают параллельно в гораздо больших количествах не сильно напрягая я сервер. Оборудование очень мощное MySQL настроен с огромным запасом на гораздо большее нагрузки
2) Пробывал отключать всех пользователей даже при одном запущенном парсере перестает открываться любая другая страница ресурса.

[_ _]

@GT_Volk значит проблема в php-fpm, где-то пул воркеров неправильно настроен.

Answer 5

[Пума Тайланд]

Зайдите в логи и просто посмотрите
на крайняк включите слоулог в php-fpm

Comments

[GT_Volk]

Ошибки в логах только у Nginx:

2014/07/16 14:25:27 [error] 11665#0: *9 upstream timed out (110: Connection timed out) while reading response header from upstream, client: 37.#.#.#, server: #####.ru, request: "GET /index.php?r=loading/parsenotifications HTTP/1.1", upstream: "fastcgi://127.0.0.1:9000", host: "#####.ru", referrer: "http://#####.ru/index.php?r=loading/index"

2014/07/16 14:25:29 [error] 11665#0: *12 upstream timed out (110: Connection timed out) while reading response header from upstream, client: 37.#.#.#, server: #####.ru, request: "GET /index.php?r=loading/parsecontracts HTTP/1.1", upstream: "fastcgi://127.0.0.1:9000", host: "#####.ru", referrer: "http://#####.ru/index.php?r=loading/index"

[Игорь]

А ошибки для php точно включены?
В переменную error_log прописан путь к логу, log_errors в значение on установлен?

Answer 6

[Игорь]

У Вас случаем важная табличка в БД не лочится при работе парсеров?
Может парсер ее лочит, а все запросы к сайту ждут когда блокировка спадет?
Вы не мониторили, что с запросами происходит в БД, когда работает парсер?

Comments

[GT_Volk]

БД не лочится проверяли