Отваливается php-fpm с сегфолтом libresolv-2.19.so, как поправить?

Question

[Pavel K]

Приветствую!
Стал отваливаться php-fpm с сегфолтом

php5-fpm[9304]: segfault at 0 ip 0000003c1a20bd66 sp 00007ffc6d80d7e0 error 6 in libresolv-2.19.so[

Скорее всего после обновления пакетов, которое было ночью.
Отваливается рандомно, больше ошибок нет.
Подскажите, пожалуйста, как подправить?

Comments

[xbox]

Посмотрите в логе /var/log/apt/history.log, какие у Вас пакеты обновлялись в тот день. Я в своем посмотрел. У меня 06/04/2016 обновилось несколько десятков пакетов. Какой из них приводит к ошибке, непонятно.
Возможно, у Вас в примерно в то же время было меньше обновлений и будет легче понять. Есть подозрение, что это может быть пакет из серии libc6. А эти пакеты пачками обновляются и имеют зависимости, поэтому, чтобы откатиться на старую версию, нужно в этом хорошо разбираться.

Answer 1

[Pavel K]

Проблему решил принудительно обновив libnss_dns

Answer 2

[Александр]

Указывайте FQDN имя для резолва, должно помочь

Comments

[Pavel K]

Выяснил, что отваливается на скриптах, где как раз идёт резолвинг домена.
Так что сам php-fpm тут похоже не при чём, что-то не так с библиотекой.

[Александр]

libresolv-2.19 нормально работает на ядре 3.18, У вас какое?

[Pavel K]

Александр: попробовал именно это ядро поставить - без изменений =( Но проблема нашлась в другом, а именно в libnss_dns

Answer 3

[xbox]

Тоже столкнулся с такой проблемой.

Стали появляться ошибки на сайте в тех местах, где раньше не было.
Браузер выдает "Nginx - 502 Bad Gateway".
Поскольку сначала заметил на странице, которая к внешнему скрипту по определению Whois-IP обращалась, подумал, что проблема на стороннем сайте.
Но потом стал замечать, что и в других местах ошибки стали похожие появляться и со временем ошибка не уходит.
В логах PHP пула сайта пусто.
В глобальном логе PHP

[15-Apr-2016 10:52:27] WARNING: [pool XXX] child 13146 exited on signal 11 (SIGSEGV) after 55.156115 seconds from start

Стал грешить, что это проблема PHP после одного из недавних апгрейдов пакетов на дебиане. Откатился с версии PHP 5.6.19 на одну из древних - 5.6.3. Это не помогло. Стал дальше искать. И случайно заглянул в messages.log
А там та же ошибка, что и у Вас.

Apr 15 10:52:27 ZZZ-Server kernel: [ 4747.868950] php5-fpm[13146]: segfault at 7f9a00000000 ip 00007f9af038a4e9 sp 00007ffedca11790 error 6 in libresolv-2.19.so[7f9af0380000+14000]

Дописано позже:
Php настроен с использованием chroot Окружения.
Файлы, которые обновляются в корне системы, в случае изменения нужно копировать вручную в choot окружение.

Нужно было всего лишь заменить файл в chroot окружении на обновленный файл из корня системы.
В моем случае на Debian нужно было заменить старый файл:

~~~php_chroot_path/etc/x86_64-linux-gnu/libnss_dns.so.2

на файл, который обновился вместе с обновлением пакетов.
/etc/x86_64-linux-gnu/libnss_dns.so.2

Comments

[xbox]

Запустил трассировщик
[code] strace -p 16905 -f 2>strace.log [/code]
(16905 здесь номер процесса php5-fpm)
Специально для этого создал php пул, с одним процессом, которым никто не пользуется. Повторяю на сайте открытие страницы, которая приводит к ошибке. Страница пытается определить размер картинки на фото хостинге radikal. Вероятно, запускается ресолвинг и в какой-то момент процесс падает с SIGSEGV.

Каких-то явных причин я не вижу. Для расшифровки последних строк лога у меня не хватает знаний. Понятно только, что все поломалось, но не понятно из-за чего.
Из-того, что в логе было найдено.
Процесс не мог получить доступ к файлам
/etc/ld.so.cache - этот файл в чрут окружение положил, не помогло.
/etc/ld.so.preload - этого файла нигде не было. на всякий случай создал пустой.
/etc/ld.so.nohwcap - этого файла не было. Пробовал его создавать, - не помогло. На самом деле потом нашел, что этого файла и не должно быть. Когда этот файл есть, то загружается не оптимизированная версия библиотеки, когда файла нет, то загружается оптимизированная версия библиотеки.

Вот заключительная часть лога strace.
[code]
.....
open("/etc/host.conf", O_RDONLY|O_CLOEXEC) = 8
fstat(8, {st_mode=S_IFREG|0644, st_size=9, ...}) = 0
mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7f9f93551000
read(8, "multi on\n", 4096) = 9
read(8, "", 4096) = 0
close(8) = 0
munmap(0x7f9f93551000, 4096) = 0
futex(0x7f9f8fd50bc4, FUTEX_WAKE_PRIVATE, 2147483647) = 0
open("/etc/resolv.conf", O_RDONLY|O_CLOEXEC) = 8
fstat(8, {st_mode=S_IFREG|0644, st_size=47, ...}) = 0
mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7f9f93551000
read(8, "domain ihc.ru\nsearch ihc.ru\nname"..., 4096) = 47
read(8, "", 4096) = 0
close(8) = 0
munmap(0x7f9f93551000, 4096) = 0
open("/etc/hosts", O_RDONLY|O_CLOEXEC) = 8
fstat(8, {st_mode=S_IFREG|0644, st_size=194, ...}) = 0
mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7f9f93551000
read(8, "127.0.0.1 localhost localhost."..., 4096) = 194
read(8, "", 4096) = 0
read(8, "", 4096) = 0
close(8) = 0
munmap(0x7f9f93551000, 4096) = 0
open("/etc/ld.so.cache", O_RDONLY|O_CLOEXEC) = 8
fstat(8, {st_mode=S_IFREG|0644, st_size=31167, ...}) = 0
mmap(NULL, 31167, PROT_READ, MAP_PRIVATE, 8, 0) = 0x7f9f933a9000
close(8) = 0
access("/etc/ld.so.nohwcap", F_OK) = -1 ENOENT (No such file or directory)
open("/lib/x86_64-linux-gnu/libnss_dns.so.2", O_RDONLY|O_CLOEXEC) = 8
read(8, "\177ELF\2\1\1\0\0\0\0\0\0\0\0\0\3\0>\0\1\0\0\0\0\20\0\0\0\0\0\0"..., 832) = 832
fstat(8, {st_mode=S_IFREG|0755, st_size=22928, ...}) = 0
mmap(NULL, 2117888, PROT_READ|PROT_EXEC, MAP_PRIVATE|MAP_DENYWRITE, 8, 0) = 0x7f9f84a97000
mprotect(0x7f9f84a9c000, 2093056, PROT_NONE) = 0
mmap(0x7f9f84c9b000, 8192, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_FIXED|MAP_DENYWRITE, 8, 0x4000) = 0x7f9f84c9b000
close(8) = 0
mprotect(0x7f9f84c9b000, 4096, PROT_READ) = 0
munmap(0x7f9f933a9000, 31167) = 0
stat("/etc/resolv.conf", {st_mode=S_IFREG|0644, st_size=47, ...}) = 0
open("/etc/resolv.conf", O_RDONLY|O_CLOEXEC) = 8
fstat(8, {st_mode=S_IFREG|0644, st_size=47, ...}) = 0
mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7f9f93551000
read(8, "domain ihc.ru\nsearch ihc.ru\nname"..., 4096) = 47
read(8, "", 4096) = 0
close(8) = 0
munmap(0x7f9f93551000, 4096) = 0
socket(PF_INET, SOCK_DGRAM|SOCK_NONBLOCK, IPPROTO_IP) = 8
connect(8, {sa_family=AF_INET, sin_port=htons(53), sin_addr=inet_addr("8.8.8.8")}, 16) = 0
poll([{fd=8, events=POLLOUT}], 1, 0) = 1 ([{fd=8, revents=POLLOUT}])
sendmmsg(8, {{{msg_name(0)=NULL, msg_iov(1)=[{"W\276\1\0\0\1\0\0\0\0\0\0\4s017\7radikal\2ru\0\0\1\0"..., 33}], msg_controllen=0, msg_flags=0}, 33}, {{msg_name(0)=NULL, msg_iov(1)=[{"*\224\1\0\0\1\0\0\0\0\0\0\4s017\7radikal\2ru\0\0\34\0"..., 33}], msg_controllen=0, msg_flags=MSG_OOB|MSG_TRUNC|MSG_SYN|MSG_RST|MSG_ERRQUEUE|MSG_FASTOPEN|0x18360010}, 33}}, 2, MSG_NOSIGNAL) = 2
poll([{fd=8, events=POLLIN}], 1, 5000) = 1 ([{fd=8, revents=POLLIN}])
ioctl(8, FIONREAD, [49]) = 0
recvfrom(8, "W\276\201\200\0\1\0\1\0\0\0\0\4s017\7radikal\2ru\0\0\1\0"..., 2048, 0, {sa_family=AF_INET, sin_port=htons(53), sin_addr=inet_addr("8.8.8.8")}, [16]) = 49
poll([{fd=8, events=POLLIN}], 1, 4997) = 1 ([{fd=8, revents=POLLIN}])
ioctl(8, FIONREAD, [85]) = 0
--- SIGSEGV {si_signo=SIGSEGV, si_code=SEGV_MAPERR, si_addr=0x7f9f00000000} ---
+++ killed by SIGSEGV +++[/code]

[Pavel K]

xbox: проблему решил обновив libnss_dns

[xbox]

Спасибо!
Помогло. Я полдня потратил на всякие откаты пакетов и тп. А проблема решалась легко.

Нужно было всего лишь заменить файл в chroot окружении на обновленный файл из корня системы.
В моем случае на Debian нужно было заменить старый файл:
~~~php_chroot_path/etc/x86_64-linux-gnu/libnss_dns.so.2
на файл, который обновился вместе с обновлением пакетов.
/etc/x86_64-linux-gnu/libnss_dns.so.2

[Pavel K]

xbox: нужно было вместо копирования создавать ссылки.

[xbox]

Можно по разному. Со ссылками без ссылок.
В оригинале libnss_dns.so.2 - это ссылка на libnss_dns-2.19.so
При обновлении пакета ссылка автоматически меняется и указывает на новый файл.
В случае с chroot окружением сделать ссылку на папку, находящуюся за пределами окружения, не получится. Файл все равно приходится копировать. Если у файла новое имя, то и ссылку нужно менять.

Мне было легче в chroot окружении вместо ссылки, сразу положить файл с тем же именем. И потом при изменении файла, накатывать новую версию, как бы она не называлась, поверх libnss_dns.so.2.
Поскольку я делаю это через файловый менеджер, процедура эта простая.

[Pavel K]

Можно использовать mount --bind