На сервере есть 100 сайтов WORDPRESS. Через минут 5 появляеться проблема 504 Gateway Time-out которая решаеться только перезапуском php5-fpm?

Question

[Расл Кроу]

На сервере есть 100 сайтов WORDPRESS. Через минут 5 появляется проблема 504 Gateway Time-out которая решаеться только перезапуском php5-fpm. Проблема появилась не давно.
Сервер состоит из nginx и php5-fpm. Всё очевидное и то что написано в интернете делал ( т.к. по продвинутый пользователь сервера)
И настройки по дефолту делал и настраивал.
Удалял серверы и устанавливал снова.
Даже блокировку сессий убрал с помощью memcached.
На сайта используется одинаковый wp-config с разными базами. Может в этом дело?
В чём может быть проблема?

Comments

[Расл Кроу]

Вот лог pool.log.slow

[12-Mar-2017 08:58:47] [pool www] pid 31248
script_filename = /var/www/shops/39/index.php
[0xb6db7e90] sanitize_post_field() /var/www/shops/39/wp-includes/post.php:1944
[0xb6db7bdc] sanitize_post_field() /var/www/shops/39/wp-includes/post.php:1909
[0xb6db79e0] sanitize_post() /var/www/shops/39/wp-includes/class-wp-post.php:229
[0xb6db76e0] get_instance() /var/www/shops/39/wp-includes/post.php:531
[0xb6db7520] get_post() /var/www/shops/39/wp-includes/category-template.php:1160
[0xb6db6d0c] get_the_terms() /var/www/shops/39/wp-includes/post-template.php:512
[0xb6db6c64] get_post_class() /var/www/shops/39/wp-includes/post-template.php:423
[0xb6db6988] post_class() /var/www/shops/39/wp-content/plugins/woocommerce/templates/content-product.php:51
[0xb6db6790] +++ dump failed

[Расл Кроу]

Тут пишут может блокируются воркеры http://phpclub.ru/talk/threads/завис-fpm.66810/

Answer 1

[Дмитрий Дарт]

Проблема в том, что скрипт слишком долго выполняется, убивается по таймауту и происходит ошибка 504 Gateway Time-out. Они на одной базе все работают?
Запрос идёт на index, тот подтягивает остальные файлы и уже какой-то из них долго работает, но лог понятно показывает что index. Включите log_slow_queries настройку, наверняка где ни будь индексов нет, или какой ни будь агрегатный запрос неправильно составлен что выбирает всё без лимита.

Comments

[Расл Кроу]

Базы разные всех. Про таймауты знаю.
Проблема вроде появилась после добавления новых сайтов.
Тоже думал об базах.
Щас уберу новые. Посмотрю что будет.

[Расл Кроу]

log_slow_queries не чего не пишет.
Зато есть ошибки nginx
2017/03/12 09:06:30 [error] 18645#0: *3410 FastCGI sent in stderr: "PHP message: База данных WordPress возвратила ошибку Server shutdown in progress в ответ на запрос SELECT WP2017_posts.* FROM WP2017_posts WHERE 1=1 AND WP2017_posts.post_name = 'alpine-sbg-1224br' AND WP2017_posts.post_type = 'product' ORDER BY WP2017_posts.post_date DESC , выполненный require('wp-blog-header.php'), wp, WP->main, WP->query_posts, WP_Query->query, WP_Query->get_posts
PHP message: PHP Warning: Error while sending QUERY packet. PID=31244 in /var/www/shops/21/wp-includes/wp-db.php on line 1879" while reading response header from upstream, client: 141.8.132.21, server: xxxx.ru, request: "GET /magazin/sabvuferi/alpine-sbg-1224br/ HTTP/1.1", upstream: "fastcgi://127.0.0.1:9000", host: "xxxx.ru"

[Расл Кроу]

На чистом Apache проблем нет.

[Дмитрий Дарт]

Расл Кроу: По-моему всё понятно. Есть тяжёлый запрос который кладёт базу www.hcube.ru/support/faq/index2.php?ELEMENT_ID=3110 нагрузка на CPU вероятно вырастает до 100% поэтому остальные сайты с их запросами не могут пробиться и тоже выпадают в таймаут

[Расл Кроу]

Наоборот нет ни какой нагрузки. Переустановил полностью сервер проблема осталась. увеличил таймауты всякие кеши у nginx вроде стало лучше.
Год аналогичный сервер проработал.
Может зависит от настроек pm.max_children ?
У меня по дефолту стоит Всегда хватало. Тем более если нагрузки нет на сервер. Сайты просто лежат.

[Дмитрий Дарт]

Расл Кроу: В Php-fpm я не очень, но что касается БД и запросов могу посмотреть, пишите если что - контакт есть в профиле

[Расл Кроу]

Спасибо. Вроде решилась проблема. Переехал на другой сервер.
Настроил NGINX по другому и добавил дефолтный сервер, который отдаёт 403 если нет домёна на сервере. Точно в чём проблема была не известно.

[Расл Кроу]

Проблема такая кажется. С воркерами больше 1 начинает плохо работать.

Answer 2

[Arman]

В логах fpm что нибудь есть? Как с сетью? Сайты что нибудь тянут на сервер? Может какой кривой file_get_contents / curl запускается и весит кучу времени? Если уменьшить время на ответ и на соединения?

Comments

[Расл Кроу]

Вот логи. Вроде не чего критического.

[12-Mar-2017 07:53:41] NOTICE: fpm is running, pid 12208
[12-Mar-2017 07:53:41] NOTICE: ready to handle connections
[12-Mar-2017 07:53:46] WARNING: [pool www] server reached pm.max_children setting (5), consider raising it
[12-Mar-2017 07:54:21] WARNING: [pool www] child 12225, script '/var/www/shops/4/index.php' (request: "GET /index.php") execution timed out (37.673710 sec), terminating
[12-Mar-2017 07:54:21] WARNING: [pool www] child 12225 exited on signal 15 (SIGTERM) after 38.011270 seconds from start
[12-Mar-2017 07:54:21] NOTICE: [pool www] child 12262 started
[12-Mar-2017 07:54:31] WARNING: [pool www] child 12210, script '/var/www/shops/2/index.php' (request: "GET /index.php") execution timed out (48.150877 sec), terminating
[12-Mar-2017 07:54:31] WARNING: [pool www] child 12210 exited on signal 15 (SIGTERM) after 50.015179 seconds from start
[12-Mar-2017 07:54:31] NOTICE: [pool www] child 12263 started
[12-Mar-2017 07:55:11] WARNING: [pool www] child 12263, script '/var/www/shops/4/index.php' (request: "GET /index.php") execution timed out (39.998991 sec), terminating
[12-Mar-2017 07:55:11] WARNING: [pool www] child 12263 exited on signal 15 (SIGTERM) after 40.005005 seconds from start
[12-Mar-2017 07:55:11] NOTICE: [pool www] child 12280 started
[12-Mar-2017 07:55:51] WARNING: [pool www] child 12280, script '/var/www/shops/4/index.php' (request: "GET /index.php") execution timed out (40.000671 sec), terminating
[12-Mar-2017 07:55:51] WARNING: [pool www] child 12280 exited on signal 15 (SIGTERM) after 40.005992 seconds from start
[12-Mar-2017 07:55:51] NOTICE: [pool www] child 12281 started
[12-Mar-2017 08:11:19] NOTICE: Finishing ...
[12-Mar-2017 08:11:19] NOTICE: exiting, bye-bye!

[Расл Кроу]

На сайта картинки загружаются по ссылкам. Но это на стороне клиента уже.

Даже с одним работающим сайтом такае же проблема.
Может обновление php5-fpm с багами?

[Arman]

Расл Кроу: так он и пишет что /var/www/shops/2/index.php' более 40 сек. нет? fpm вообще ложиться или тупо не отвечает? Может снести его под чистую (apt-get purge) и поставить по новой? Смотрели какие файлы открыты у php-fpm? Если попробовать другой сайт поднять? И на сервере точно всего хватает (оперативки, места, айнодов)? Проверьте еще все задачи в кроне, может там что криво наделали и пересекается с fpm

[Расл Кроу]

Сносил и ставил по новому.
Обычный HTML работает.
Щас попробую чистый wordpress попробыать что будет.

[Расл Кроу]

Чистый wordpress тоже не работает.

[Расл Кроу]

Тоже спасибо. Не бросили в беде)

[Arman]

Расл Кроу: IP-адрес поменялся? может атака была?