Как исправить ошибку «recv() failed (104: Connection reset by peer) 502» в php-fpm / nginx?

Question

[KirillMilano]

Здравствуйте. Имеется сервер fastvps.ru/dedicated тариф EX-4, установлена ОС Debian-70-wheezy-64. Крутится один основной сайт, на связке nginx и php-fpm. Если нагрузить сайт тестом Siege буквально 10 потоками, то в лог начинают валиться ошибки:

readv() failed (104: Connection reset by peer) while reading upstream
recv() failed (104: Connection reset by peer) while reading response

Optcache включен. Помогите разобраться, что не так с конфигами? Судя по всему, дело в php-fpm.

Конфиг php-fpm:
cosmopolite.ru/php_fpm.txt

Конфиг nginx:

user www-data;
worker_processes 4;
pid /var/run/nginx.pid;

events {
	worker_connections 768;
}

http {

	sendfile on;
	tcp_nopush on;
	tcp_nodelay on;
	keepalive_timeout 65;
	types_hash_max_size 2048;

	proxy_read_timeout 500;
	proxy_connect_timeout 500;
	client_max_body_size 100M;
	server_names_hash_bucket_size 64;

	include /etc/nginx/mime.types;
	default_type application/octet-stream;

	access_log /var/log/nginx/access.log;
	error_log /var/log/nginx/error.log;

	gzip on;
	gzip_disable "msie6";

	include /etc/nginx/conf.d/*.conf;
	include /etc/nginx/sites-enabled/*;
	include /usr/local/ispmgr/etc/nginx.domain;

}

Comments

[KirillMilano]

Ошибка возникает, если включить в шаблонизаторе режим постоянной перекомпилировки шаблонов из tpl в php, тоесть при обширной работе с записью/чтением файлов. В статичном режиме шаблонизатора (только чтение) ошибка не лезет вообще. Я понимаю, что время генерации в режиме перекомпиляции должно быть больше, но всё равно ошибки это не нормально я так понимаю.

Answer 1

[CHADo]

Siege разорвал соединение, пока nginx получал данные от php-fpm или что там у тебя в /etc/nginx/conf.d/*.conf;

Начни с тестов без php, сделай каталог с простым index.html и натрави туда. Если ошибки остались, дело в кол-во обработчиков: 4 процесса по 768 медленнее, чем 1 процесс с 3072 сокетами на современном железе. Подними worker_connections до 2048 хотя бы.

Далее с backlog
Через sysctl net.core.somaxconn узнай значение backlog, если оно меньше параметра worker_connections то в sysctl.conf увеличивай до значения = worker_connections
Такое же значение укажи в fpm listen.backlog

Comments

[KirillMilano]

Посмотрите пожалуйста, уточнил вопрос. Если работать со статикой, то ошибок нет.

[KirillMilano]

net.core.somaxconn = 128 у меня. Поднимать? Насчет worker_connections, увеличить до 2048, а worker_processes оставить 4 или уменьшать нужно?

[CHADo]

128 даже для дома, для торрентов маловато бывает. Для сайта конечно поднимай, 4096 смело можно ставить. worker_processes для тестов оставляй 4, но потом ставь 1 и мониторь макс кол-во соединений на 80 порт в секунду. Когда будет в 75% от (worker_connections*worker_processes) поднимешь worker_processes на единицу. Чем меньше worker_processes тем быстрее будет ответ от сервера (вообще там ищется золотая середина под железо и нагрузки на каждый час суток).

Скажи значение Response time в Siege. И включи slowlog с таймером равным значению Response time округлённый в большую сторону (будет в секундах "s", я надеюсь). Этим попытаемся определить какой скрипт тормозит.
Так же полезно будет знать нагрузку на проц и файловую систему (top, htop, iotop, bwm-ng)

[KirillMilano]

В режиме перекомпиляции шаблонов response time 0.36s, число failed 10-15% от общего числа хитов. В боевом режиме без перекомпиляции 0.28s. Число failed = 0. Тестирую с домашнего компьютера, не локально то есть. Не знаю как скорость моего домашнего интернета влияет на repsonse time, но сама генерация внутри php занимает в среднем 0.05 - 0.08s, скрипты легкие, этот показатель давно уже мониторю.

Есть у меня одна мысль. В режиме перекомпиляции, каждый раз происходит opcache_reset(), что приводит к пересборке сайта я так понимаю и грузит файловую систему.

Прогнал iotop, в режиме перекомпиляции активность php-fpm от 1% вплоть до 20%. Это нормально? Каждое обращение порядка 10 файлов-шаблонов пишет/читает. В боевом режиме активность десятые проценты.

Т.е. судя по всему, в боевом режиме если поток людей будет очень большим, 502 ошибку по причине нагрузки на запись в диск я врятли увижу?

[CHADo]

Не должно быть такого поведения, в случаи если одно соединение повисло, до timeout его не разорвёт, единственный вариант если в Siege например timeout = 1. Тогда понятно почему он не дожидается данных

[KirillMilano]

@CHADo при включенной перекомпиляции ошибка видна не только в siege но и в логах + сам если обновляю в браузере под нагрузкой, частенько код html тупо до конца не грузится (2/3 страницы и обрыв). Если выключить перекомпиляцию все ок.

Сделал sysctl net.core.somaxconn=4096, поставил один воркер и worker_connections=2048. Установил на сервер локально siage, при 300 одновременных соединений к 127.0.0.1/, если зайти на сайт через браузер, лезет 502 периодически от имени nginx. Более 300 не получается, пишет мол сокетов не хватает. Timeout=1 дефолтный. Это нормально? Подскажите, как число сокетов для теста увеличить, хочу больше подключений попробовать.

[KirillMilano]

Стоило чуть накрутить эти параметры, как производительность выросла вдвое

pm.max_children = 20
pm.max_spare_servers = 13

Что скажете про них?

[CHADo]

Увеличивай backlog, nofiles (системный для каждого процесса) и кол-во обработчиков в php-fpm (то что начинается с pm.). Таймаут в 1 сек по умолчанию нормально для шустрых сайтов. Так твой сайт не быстрый, но строчек в логах про разорванное соединение будет много, но браузер через десяток секунд всё же отобразит страницу.
---
Не все люди любят медленную загрузку, лучше быстрый кастомный 502 с редикректом через N секунд

[Дэн Иванов]

@KirillMilano Вобщем то как я и говорил ) Только были дополнительные ограничивающие факторы ;)

Answer 2

[Дэн Иванов]

Попробуйте в конфиге пула fpm'а установить

pm = static
pm.max_children = 60

и посмотреть, скажется ли это в положительную сторону на вашем тесте.
Если да, то вам нужно регулировать значения
pm.max_children \ pm.max_spare_servers в режиме dynamic.
Их значения будут зависеть от профиля вашей нагрузки, насколько он равномерный или наоборот "пиковый".

А чем вам не нравиться static ? У Вас как я погляжу на сервере 16Гб оперативки, не так уж и много займут воркеры в "пустом" состоянии.

Comments

[KirillMilano]

Сделал так, в результате теста процент фэйлов тот же =(

Answer 3

[Андрей]

Была такая проблема. Решилась выставлением правильного владельца на файлы

sudo chown -R www-data:www-data /var/www/mysite.com

Answer 4

[Дмитрий]

Проблема шире чем кажется:
Надо понимать, что это означает - отвалился php
отвалиться он может по нескольким причинам:
1) лимиты в самом php.ini - первое из них время выполнения php скрипта
2) лимиты удержания сокета (конекта) настройки php-fpm
3) лимиты ожидания ответа от php-fpm со стороны nginx
4) все процессы заняты (умерли)

И вот когда все таймауты правильно настроенны и вас нет ооооочень долго выполняющихся скриптов - тогда все чики пуки.

Тюнить надо одновременно все эти 4 составляющие, понимаю взаимодействие.

Comments

[Inteli Sense]

Как проверить? у меня только вот недавно начал отваливаться на Laravel. Только с взаимодействием Relation User::with()