Странное поведение веб-сервера на nginx+php-fpm?

Question

[krotish]

Коллеги, привет.



Ситуация-загадка.



Есть web-сервер на nginx и php-fpm. Debian.



# nginx -v

nginx version: nginx/1.2.1

# php5-fpm -v

PHP 5.4.4-14+deb7u3 (fpm-fcgi) (built: Jul 17 2013 17:57:18)

Copyright © 1997-2009 The PHP Group

Zend Engine v2.4.0, Copyright © 1998-2012 Zend Technologies

with XCache v2.0.0, Copyright © 2005-2012, by mOo

# uname -a

Linux 3.2.0-4-686-pae #1 SMP Debian 3.2.46-1 i686 GNU/Linux

# cat /etc/debian_version

7.1



# df -h

Filesystem Size Used Avail Use% Mounted on

rootfs 20G 3.3G 16G 18% /

udev 10M 0 10M 0% /dev

tmpfs 61M 80K 61M 1% /run

/dev/xvda1 20G 3.3G 16G 18% /

tmpfs 5.0M 0 5.0M 0% /run/lock

tmpfs 121M 0 121M 0% /run/shm



Ни с того, ни с сего внезапно перестали работать сайты.

Перезапуск демонов nginx и php-fpm ничего не дал. Отправил сервер в ребут, сайты заработали. Но ненадолго, потом опять перестали открываться. При этом nginx продолжает работать.



Итог. После каждого ребута сайты работают минут пять и потом перестают открываться.



Куда и как копать? Логи nginx не вызывают никаких подозрений. Я понимаю, что исходных данных очень мало (не всё же подряд кидать), но, если честно, я немного в ступоре.

Comments

[VBart]

Так что в error_log? И что значит «перестают работать»? Соединение устанавливается?

[krotish]

перестают работать — это значит не открываются браузером не из вне, не изнутри — таймаут. Соединение не устанавливается.

[Dmitrii]

Смотрите в конфиги виртуал хостов нгинха… На днях было такое после очередного апгрейда… Проблема в ipv6 в новых конфигах нгиннха по дефолту… Надо руками для каждого конфига прописать, чтобы слушал и на ipv4, и все будет хорошо.

[krotish]

но ведь в конфиге явно прописано
server {
  listen 80;

[krotish]

.

Answer 1

[krotish]

Друзья, всем спасибо за помощь и советы!

Итак, проблема решена, была явно на стороне Amazon AWS.
Помогло выключение и включение инстанса (инстанс на EBS) из консоли EC2. Перезапуск инстанса из той же не помогал.

Answer 2

[Ilya Evseev]

Разбирайтесь по порядку.

1) статические страницы открываются?
2) обращения с localhost через «wget -S ...» тоже не работают?
3) страница с <?php phpinfo(); ?> что-нибудь возвращает?
4) что в момент проблемы говорят команды «free» и «ps axwwll»?
5) предварительно проверьте настройки MySQL через mysqltuner,
6) проверьте в момент начала проблем загрузку через mytop.

Comments

[krotish]

1) нет, статика тоже не работает.
2) нет
$ wget -S site.com
--2013-08-21 16:03:42-- http://site.com/
Resolving site.com (site.com)… ext ip
Connecting to site.com (site.com)|ext ip|:80…

3) нет, статический контект тоже не открывается

4) Вот вывод, место есть, демоны запущены.
$ free
total used free shared buffers cached
Mem: 616764 145888 470876 0 7140 71056
-/+ buffers/cache: 67692 549072
Swap: 0 0 0

$ ps axwwll
F UID PID PPID PRI NI VSZ RSS WCHAN STAT TTY TIME COMMAND
4 0 1 0 20 0 2204 716? Ss? 0:01 init [2]
1 0 2 0 20 0 0 0? S? 0:00 [kthreadd]
1 0 3 2 20 0 0 0? S? 0:00 [ksoftirqd/0]
1 0 4 2 20 0 0 0? S? 0:00 [kworker/0:0]
1 0 5 2 20 0 0 0? S? 0:00 [kworker/u:0]
1 0 6 2 -100 — 0 0? S? 0:00 [migration/0]
5 0 7 2 -100 — 0 0? S? 0:00 [watchdog/0]
1 0 8 2 0 -20 0 0? S<? 0:00 [cpuset]
1 0 9 2 0 -20 0 0? S<? 0:00 [khelper]
5 0 10 2 20 0 0 0? S? 0:00 [kdevtmpfs]
1 0 11 2 0 -20 0 0? S<? 0:00 [netns]
1 0 12 2 20 0 0 0? S? 0:00 [xenwatch]
1 0 13 2 20 0 0 0? S? 0:00 [xenbus]
1 0 14 2 20 0 0 0? S? 0:00 [sync_supers]
1 0 15 2 20 0 0 0? S? 0:00 [bdi-default]
1 0 16 2 0 -20 0 0? S<? 0:00 [kintegrityd]
1 0 17 2 0 -20 0 0? S<? 0:00 [kblockd]
1 0 18 2 20 0 0 0? S? 0:00 [kworker/0:1]
1 0 19 2 20 0 0 0? S? 0:00 [khungtaskd]
1 0 20 2 20 0 0 0? S? 0:00 [kswapd0]
1 0 21 2 25 5 0 0? SN? 0:00 [ksmd]
1 0 22 2 20 0 0 0? S? 0:00 [fsnotify_mark]
1 0 23 2 0 -20 0 0? S<? 0:00 [crypto]
1 0 27 2 20 0 0 0? S? 0:00 [khvcd]
1 0 74 2 20 0 0 0? S? 0:00 [jbd2/xvda1-8]
1 0 75 2 0 -20 0 0? S<? 0:00 [ext4-dio-unwrit]
1 0 84 2 20 0 0 0? S? 0:00 [kworker/u:1]
5 0 218 1 20 0 2544 1032? Ss? 0:00 udevd --daemon
5 0 271 218 20 0 2540 800? S? 0:00 udevd --daemon
5 0 272 218 20 0 2540 696? S? 0:00 udevd --daemon
5 0 1353 1 20 0 2112 620? Ss? 0:00 /sbin/dhcpcd-bin -h (none) -Y -N eth0
5 0 1530 1 20 0 27824 1388? Sl? 0:00 /usr/sbin/rsyslogd -c5
1 0 1557 1 20 0 53688 3560? Ss? 0:00 php-fpm: master process (/etc/php5/fpm/php-fpm.conf)
5 33 1558 1557 20 0 61888 22300? S? 0:00 php-fpm: pool www
5 33 1559 1557 20 0 61268 22160? S? 0:01 php-fpm: pool www
1 0 1584 1 20 0 4308 964? Ss? 0:00 /usr/sbin/cron
4 0 1634 1 20 0 1856 556? S? 0:00 /bin/sh /usr/bin/mysqld_safe
4 103 1961 1634 20 0 324880 34776? Sl? 0:05 /usr/sbin/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib/mysql/plugin --user=mysql --pid-file=/var/run/mysqld/mysqld.pid --socket=/var/run/mysqld/mysqld.sock --port=3306
0 0 1962 1634 20 0 1776 548? S? 0:00 logger -t mysqld -p daemon.error
5 102 2406 1 20 0 7324 940? Ss? 0:00 /usr/sbin/exim4 -bd -q30m
1 0 2431 1 20 0 11744 996? Ss? 0:00 nginx: master process /usr/sbin/nginx
5 33 2433 2431 20 0 12272 2048? S? 0:00 nginx: worker process
5 0 2455 1 20 0 6392 1044? Ss? 0:00 /usr/sbin/sshd
4 0 2521 2455 20 0 9168 2912? Ss? 0:00 sshd: admin [priv]
5 1000 2523 2521 20 0 9168 1440? S? 0:00 sshd: admin@pts/0
0 1000 2524 2523 20 0 5176 1812 — Ss pts/0 0:00 -bash
1 0 2618 2 20 0 0 0? S? 0:00 [flush-202:1]
0 1000 2623 2524 20 0 4596 716 — R+ pts/0 0:00 ps axwwll

Answer 3

[gaelpa]

Мало информации.
Посмотрите логи php-fpm,
включите логи nginx, какие там ошибки,
посмотрите какие процессы находятся в состоянии D в выводе «ps axfu», какая вообще загрузка и какими процессами,
посмотрите, нет ли у вас стопки выполняющихся запросов в mysql (предположил по-умолчанию).

Навскидку, возможно это переполнение пула php-fpm вызванное заторами в скриптах (может тяжелые запросы к базам или даже ошибка базы).

Comments

[stavinsky]

частенько натыкаюсь. Смотреть думаю стоит в сторону MySQL и большого количество fpm детей, порождаемых за счет долгого времени ответа бд

[krotish]

проблема со статическим контентом тоже.

ps axfu — в состоянии D ни одного процесса, загрузки нет почти

Answer 4

[Пума Тайланд]

Обычно такое случается когда переполняются какие нибудь сокеты на виртуалке, а они бывают на ней урезанные, ну или сосед захавал их если скажем cgroups или openvz.

Comments

[krotish]

уточню, платформа Amazon EC2

[Пума Тайланд]

посмотрите что в netstat -apn

[krotish]

вот так тут:
$ sudo netstat -apn
Active Internet connections (servers and established)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN 2431/nginx
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 2455/sshd
tcp 0 0 127.0.0.1:25 0.0.0.0:* LISTEN 2406/exim4
tcp 0 0 127.0.0.1:9000 0.0.0.0:* LISTEN 1557/php-fpm.conf)
tcp 0 0 127.0.0.1:3306 0.0.0.0:* LISTEN 1961/mysqld
tcp 0 384 x.x.x.x:22 y.y.y.y:59686 ESTABLISHED 2634/sshd: admin [p
tcp6 0 0 :::22 :::* LISTEN 2455/sshd
tcp6 0 0 ::1:25 :::* LISTEN 2406/exim4
Active UNIX domain sockets (servers and established)
Proto RefCnt Flags Type State I-Node PID/Program name Path
unix 2 [ ACC ] SEQPACKET LISTENING 3076 218/udevd /run/udev/control
unix 6 [ ] DGRAM 4157 1530/rsyslogd /dev/log
unix 2 [ ACC ] STREAM LISTENING 4483 1961/mysqld /var/run/mysqld/mysqld.sock
unix 2 [ ] DGRAM 6102 2713/sudo
unix 2 [ ] DGRAM 6099 2713/sudo
unix 3 [ ] STREAM CONNECTED 5791 2634/sshd: admin [p
unix 3 [ ] STREAM CONNECTED 5790 2636/2
unix 2 [ ] DGRAM 5789 2634/sshd: admin [p
unix 2 [ ] DGRAM 5151 1353/dhcpcd-bin
unix 3 [ ] STREAM CONNECTED 5141 2431/nginx
unix 3 [ ] STREAM CONNECTED 5140 2431/nginx
unix 2 [ ] DGRAM 4471 1962/logger
unix 3 [ ] STREAM CONNECTED 4184 1557/php-fpm.conf)
unix 3 [ ] STREAM CONNECTED 4183 1557/php-fpm.conf)
unix 3 [ ] DGRAM 3083 218/udevd
unix 3 [ ] DGRAM 3082 218/udevd

Answer 5

[Ilya Evseev]

Если не происходит даже подключения к nginx'у, тогда проверки такие:
1) файрволл? iptables-save
2) системные лимиты? dmesg | tail
3) подключение с данного сервера к locahhost'у тоже виснет? wget -S -O /dev/null 127.0.0.1/
4) service nginx restart не помогает?
5) если добавить в настройки nginx минимальный сервер на 81 порт, он тоже не открывается?

Про исчерпание сетевых сокетов и файловых дескрипторов:
serverfault.com/questions/350643/exhausting-linux-machine-tcp-socket-limit-70k
serverfault.com/questions/154663/how-to-find-the-number-of-open-ports-in-linux

Вывод команд обрамляйте «code»
чтобы столбцы не разъезжались, иначе ничего не понять.

Comments

[krotish]

Файрволл в порядке, все разрешено.
С данного сервера на локалхост тоже виснет. Рестарт сервиса не помогает.

На 81 порту всё работает уже который час. Загадка, копаю дальше.

Answer 6

[Ilya Evseev]

Залейте куда-нибудь на pastebin полные конфиги nginx'a.
Не исключено, что в них какая-нибудь мелкая очепятка.
Например, вместо лимита на 4 воркера выставлен лимит на 4 коннекта.

По-прежнему интересно взглянуть на dmesg | tail -30 и iptables-save.

Comments

[krotish]

В общем, поменял порт в конфиге хоста nginx на 81 — всё работает как часы, поменял обратно на 80й, перезагрузился, сайт проработал несколько минут и перестал открываться.

вот dmesg pastebin.com/HWLXFBnY
вот файрволл pastebin.com/2uMbzNTc
вот конфиг хоста pastebin.com/CXMEtXM7 — сейчас это единственный активный.
вот nginx.conf pastebin.com/Bg8NmUdb

[Ilya Evseev]

1) непонятно, зачем форвардинг и НАТ для 10.8.0/24.
2) conntrack маловат, но если в dmesg чисто, то пофиг.
3) т.к. других вариантов пока не видно, то попробуйте с горя заменить nginx на lighttpd. Чем черт не шутит?
4) php-fpm и mysql пока остановите, проверяйте только отдачу статики.

[krotish]

1) остатки былого openvpn.
сейчас его нет, пакет удалён.

[krotish]

3) аналогично

Answer 7

[krotish]

Итак, друзья, nginx был заменён на lighttpd.

И ситуация осталось прежней, не открывается сайт на 80 порту.
Меняем порт на 81 и всё открывается. Файрволл чист, см. выше. В консольке амазона секьюрити группа настроена — открыты 80, 81й порты.
Как же так? Что может блочить доступ, если как выяснили на другом веб сервере то же самое.

Comments

[krotish]

# iptables-save # Generated by iptables-save v1.4.14 on Fri Aug 23 13:38:30 2013 *mangle :PREROUTING ACCEPT [80:5888] :INPUT ACCEPT [80:5888] :FORWARD ACCEPT [0:0] :OUTPUT ACCEPT [49:8004] :POSTROUTING ACCEPT [49:8004] COMMIT # Completed on Fri Aug 23 13:38:30 2013 # Generated by iptables-save v1.4.14 on Fri Aug 23 13:38:30 2013 *nat :PREROUTING ACCEPT [0:0] :INPUT ACCEPT [0:0] :OUTPUT ACCEPT [0:0] :POSTROUTING ACCEPT [0:0] COMMIT # Completed on Fri Aug 23 13:38:30 2013 # Generated by iptables-save v1.4.14 on Fri Aug 23 13:38:30 2013 *filter :INPUT ACCEPT [80:5888] :FORWARD ACCEPT [0:0] :OUTPUT ACCEPT [58:9016] COMMIT # Completed on Fri Aug 23 13:38:30 2013

Answer 8

[boodda]

ну точно это fastvps ии hetzner. Одно и тоже каждые 2 дня.
Тупо поставил ежеминутный крон, если (в моем случае), нагрузка по топ > 2, то
service php5-fpm restart

Comments

[krotish]

это AMAZON AWS

и проблема явно не в моей конфигурации, как мы уже с коллегами выше выяснили. уже не знаю, что делать.

Answer 9

[Z0nd0R]

Сервер в хетзнере, тоже сталкивался с подобной проблемой. Выловить причину не удалось. Помогал только рестарт сервера.
Проблема появлялась после обновления аккаунтов в ISP Manager. Т.е. после перезагрузки апача и нгинкса.

После обновления софта проблема вроде как исчезла.

З.Ы. Ось CentOS 6.4