[pid 6302] (32)Broken pipe: [client 176.59.170.118:35212] mod_fcgid: ap_pass_brigade failed in handle_request_ipc function. Как решить проблему?

Question

[sarkis3]

Доброго времени.
В инете много инфы по этой ошибке и самая правильная

похоже, имеем очень простую причину: клиенты, которые закрывают соединение, прежде чем дождаться ответа сервера.

Эту ошибку я легко могу воспроизвести , если буду быстро обновлять страницу в браузере .
Эта проблема появляется только тогда, когда на сайте стоит FASTCGI apache. Если просто apache - ошибки нет.

Но я так и не понял, как мне ее решить ?

Есть главная причина, по которой мне нужно найти решение - бот поисковых систем , например Яндекс, периодически шлет оповещение, что некоторые страницы моего сайта недоступны - 500 ошибка Из-за этого падают позиции .

Comments

[Дмитрий]

Fcgi прошлый век, апач можно перенастроить на fpm

[Alexey Dmitriev]

Дмитрий, предполагаю, что и имелся ввиду fpm.

[Kano]

Можно еще взять исходники данного мода подправить место где падает и сделать кастомную сборку

[Lynn «Кофеман»]

А при чём тут nginx?

[sarkis3]

Kano, как мне найти этот файл, который отвечает за это или как мне подменить 500 код на 200 , если возникает Broken pipe

[Kano]

Kano, из вашего описания не совсем очевидно то как устроена обработка запроса.
Наружу торчит nginx, который через fastcgi выполняет запросы до сервера приложений apache с модулем mod_fcgid
Указанная вами ошибка записывается в логи apache и возникает она из за того что принимающая сторона не дождалась ответа и закрыла подключение.
Т.е. получается что это даже не ошибка (в логах она записывается как предупреждение кстати), раз клиент уже не принимает ответ значит он ему не нужен.
Если в качестве клиента у нас выступает nginx то выходит что это он разрывает подключение.
Причины того почему он (nginx) так поступает может быть довольно много (например он устал ждать)
Как побороть - надо понять почему nginx разрывает подключения, но без конфига и логов сделать это затруднительно.
Возможно в вашем случае поможет
fastcgi_keep_conn on;
и
keepalive в upstream и уазанием max_fails=0 для сервера

[sarkis3]

Kano, подскажите, а почему в логах access.log этот warning имеет 500 код . Получается , клиент получил 500 ответ и оборвал соединение или он оборвал соединение и это записалось как 500 ?

[Kano]

sarkis3, вы сейчас про чей лог спашиваете? Про лог nginx или apache?

[sarkis3]

Kano, ну наверно лог apache. У меня стоит FASTCGI + APACHE, но получается NGINX как прокси стоит (не пойму)
Папка /logs/access.log

[Kano]

sarkis3, ну хоть строку из лога с 500 ошбкой приведите

[sarkis3]

Kano, error.log

[Fri Jul 21 07:20:27.826755 2023] [fcgid:warn] [pid 5043] (32)Broken pipe: [client 217.66.154.23:52494] mod_fcgid: ap_pass_brigade failed in handle_request_ipc function, referer:

access.log

217.x.1x.x - - [21/Jul/2023:07:20:27 +0300] "GET /vakansii_sankt_peterburg/?filter=show HTTP/1.0" 500 50326 "https://sait.ru/vakansii_kirishi/" "Mozilla/5.0 (Linux; arm; Android 10; M2006C3LG) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 YaApp_Android/23.36.1 YaSearchBrowser/23.36.1 BroPP/1.0 SA/3 Mobile Safari/537.36"

[Kano]

sarkis3, ошибка от apache, а формат access.log у appache совпадает с nginx, поэтому скорее всего он тоже от apache. Нужен лог от nginx.
Отвечая на ваш ворос по поводу того что получил клиент на котором была запись в логе - nginx скорее всего отправил ему 500 т.к. не дождался от apache ответа или по причине того что не нашел ни одного рабочего подключения к apache
Так же вижу что к apache запросы идут по HTTP/1.0 (по умолчанию fastcgi закрывает подключение после каждого запроса), т.е. без использования keepalive.
Это означает что после каждого запроса происходит разрыв соединения, а это довольно плохо сказывается на производительности.
Поэтому нужно правильно настроить nginx что бы он переиспользовал подключение к apache и желательно что бы держал несколько подключений которые он бы использовал пока другие заняты обработкой запросов.
Также нужно знать что nginx учитывает сколько было ошибок от сервиса в единцу времени и если их количество превысит пороговое значение, то этот сервис будет помечен как временно недоступный на определённый промежуток времени, а новые запросы будут отправлены на другой доступный сервис (если у вас только один обслуживающий запросы сервис, то клиентам будет возвращаться 500 ошибка в течении некоторого времени по истечении которого всё заработает в штатном режиме)
Вобщем нужен ваш конфиг nginx
И замените в вашем ответе выше (там где логи) ip адреса на что нибудь типа 217.xx.xx.xx

[sarkis3]

Kano,
/etc/nginx/nginx.conf .

user www-data;
worker_processes  1;

error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;


events {
    worker_connections  1024;
}


http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  /var/log/nginx/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    keepalive_timeout  65;

    #gzip  on;

    include /etc/nginx/conf.d/*.conf;
	include /etc/nginx/vhosts/*/*.conf;
	client_max_body_size 128m;
	
proxy_buffering on; # по умолчанию
proxy_buffer_size 4k;
proxy_buffers 32 4k; # до 132K + ядерные буфера
proxy_max_temp_file_size 0;	
	
	
	server {
	
	server_name localhost;
	disable_symlinks if_not_owner;

	
	listen 80;
	listen [::]:80;
	include /etc/nginx/vhosts-includes/*.conf;
	location @fallback {
		error_log /dev/null crit;
		proxy_pass http://127.0.0.1:8080;
		proxy_redirect http://127.0.0.1:8080 /;
		proxy_set_header Host $host;
		proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
		proxy_set_header X-Forwarded-Proto $scheme;
		access_log off ;
	}
	}
}

Объясню предысторию: в error.log много было warning (каждый запрос отдавал это предупреждение)

[warn] 14305#14305: *917714 an upstream response is buffered to a temporary file /var/cache/nginx/proxy_temp/9/44/0000000449

в инете нашел частичное решение

proxy_buffering on; # по умолчанию
proxy_buffer_size 4k;
proxy_buffers 32 4k; # до 132K + ядерные буфера
proxy_max_temp_file_size 0;

и предупреждения стали реже появляться , но все еще появляются (не знаю, как избавиться от них). Сказали , ничего страшного .

Возможно из-за этих множественных warning и получается предупреждение

Broken pipe:

Также , сейчас в логе вижу , иногда (3-4 раза в день)

2023/07/21 09:45:23 [crit] 14305#14305: *878065 SSL_do_handshake() failed (SSL: error:140944E7:SSL routines:ssl3_read_bytes:reason(1255):SSL alert number 255) while SSL handshaking

[sarkis3]

Параметры сервера
Процессор 7 X Intel(R) Xeon(R) E-2288G CPU @ 3.70GHz
Оперативная память 14023 MB

[Kano]

sarkis3, вы предоставили рутовый конфиг, а нужен конкретно тот что обслуживает ваше приложение с доменом sait.ru, его можно найти где то тут
include /etc/nginx/conf.d/*.conf;
include /etc/nginx/vhosts/*/*.conf;

[sarkis3]

Kano, получается то, что я добавлял в рутовый - не работает ?

вот /etc/nginx/vhosts/сайт.ru/сайт.ru.conf

server {
	server_name сайт.ru *.сайт.ru www.сайт.ru;
	charset off;
	index index.php index.html;
	disable_symlinks if_not_owner from=$root_path;
	include /etc/nginx/vhosts-includes/*.conf;
	include /etc/nginx/vhosts-resources/сайт.ru/*.conf;
	access_log /var/www/httpd-logs/сайт.ru.access.log;
	error_log /var/www/httpd-logs/сайт.ru.error.log notice;
	set $root_path /var/www/сайт.ru/data/www;
	location / {
		location ~* ^.+\.(jpg|jpeg|gif|png|svg|js|css|mp3|ogg|mpe?g|avi|zip|gz|bz2?|rar|swf)$ {
			expires 7d;
			try_files $uri $uri/ @fallback;
		}
		location ~ [^/]\.ph(p\d*|tml)$ {
			try_files /does_not_exists @fallback;
		}
		location / {
			try_files /does_not_exists @fallback;
		}
	}
	if ($host ~* ^((.*).сайт.ru)$) {
		set $subdomain $1;
	}
	gzip on;
	gzip_comp_level 4;
	gzip_disable "msie6";
	gzip_types text/plain text/css application/json application/x-javascript text/xml application/xml application/xml+rss text/javascript application/javascript image/svg+xml;
	return 301 https://$host:443$request_uri;
		set $subdomain сайт.ru;
	location @fallback {
		proxy_pass http://127.0.0.1:8080;
		proxy_redirect http://127.0.0.1:8080 /;
		proxy_set_header Host $host;
		proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
		proxy_set_header X-Forwarded-Proto $scheme;
		proxy_set_header X-Forwarded-Port $server_port;
		access_log off;
		include /etc/nginx/vhosts-resources/сайт.ru/dynamic/*.conf;
	}
	ssi on;
	root $root_path/$subdomain;
	listen 11.111.11.11:80;
}
server {
	server_name сайт.ru *.сайт.ru www.сайт.ru;
	ssl_certificate "/var/www/httpd-cert/сайт.ru/сайт.ru_le3.crtca";
	ssl_certificate_key "/var/www/httpd-cert/сайт.ru/сайт.ru_le3.key";
	ssl_ciphers EECDH:+AES256:-3DES:RSA+AES:!NULL:!RC4;
	ssl_prefer_server_ciphers on;
	ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
	ssl_dhparam /etc/ssl/certs/dhparam4096.pem;
	charset off;
	index index.php index.html;
	disable_symlinks if_not_owner from=$root_path;
	include /etc/nginx/vhosts-includes/*.conf;
	include /etc/nginx/vhosts-resources/сайт.ru/*.conf;
	access_log /var/www/httpd-logs/сайт.ru.access.log;
	error_log /var/www/httpd-logs/сайт.ru.error.log notice;
	set $root_path /var/www/сайт.ru/data/www;
	if ($host ~* ^((.*).сайт.ru)$) {
		set $subdomain $1;
	}
	proxy_max_temp_file_size 2048m;
	
	gzip on;
	gzip_comp_level 4;
	gzip_disable "msie6";
	gzip_types text/plain text/css application/json application/x-javascript text/xml application/xml application/xml+rss text/javascript application/javascript image/svg+xml;
	location / {
		location ~ [^/]\.ph(p\d*|tml)$ {
			try_files /does_not_exists @fallback;
		}
		location ~* ^.+\.(jpg|jpeg|gif|png|svg|js|css|mp3|ogg|mpe?g|avi|zip|gz|bz2?|rar|swf)$ {
			expires 7d;
			try_files $uri $uri/ @fallback;
		}
		location / {
			try_files /does_not_exists @fallback;
		}
	}
		set $subdomain сайт.ru;
	location @fallback {
		proxy_pass http://127.0.0.1:8080;
		proxy_redirect http://127.0.0.1:8080 /;
		proxy_set_header Host $host;
		proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
		proxy_set_header X-Forwarded-Proto $scheme;
		proxy_set_header X-Forwarded-Port $server_port;
		access_log off;
		include /etc/nginx/vhosts-resources/сайт.ru/dynamic/*.conf;
	}
	add_header Strict-Transport-Security "max-age=31536000;";
	ssi on;
	root $root_path/$subdomain;
	listen 11.111.11.11:443 ssl;
}

[Kano]

sarkis3, ох. Тут много над чем нужно работать. Конкретно по вашей проблеме нужно сделать что бы proxy_pass работал через upstream в котором будет server 128.0.0.1:8080 max_fails=0; keepalive 16; и добавить proxy_set_header Connection ""; proxy_http_version 1.1;

[sarkis3]

Kano, получается
proxy_pass http://127.0.0.1:8080; я меняю на
proxy_pass http://http_backend;

и дальше создаю

upstream http_backend{
    server 127.0.0.1:8080 max_fails=0;
    keepalive 16;
    proxy_http_version 1.1;
    proxy_set_header Connection "";
}

верно ?