Периодически падает сайт с ошибкой 502 как найти проблему?

Question

[Ilia Malashko]

Здравсвуйте.

У нас переодически падает сайт с ошибкой 502. Ошибка бывает не часто, 2-3 раза за день, при этом закономерности не прослеживается.
В zabbix на apache у нас есть только график запросов, там никаких скачков.


В логах ошибок нет ничего серьезного, с падениями ничего не коррелирует.
Тестирование производительности Битрикс тоже ничего не дало.

50x ошибок в apache нет. До него не доходит. Из за загруженности apache 502 отдает nginx. В nginx запросы 502 не информативны, он просто отдает 502 всем подряд пока не оживет apache. То есть проблема именно в меделных запросах, которые не удается выловить в логах так как они не отдаю ошибки.

Как можно найти проблемное место?
Может какие графики можно добавить в zabbix которые дадут более подробную картину?
Есть подозрение, что дело в запросах к внешним сервисам, пытались методом тыка найти проблему отключая эти сервисы, но из за редкого падения закономерность так же не получилось обнаружить. Как можно протестировать внешние сервисы?

Comments

[Максим Ткачев]

502 ошибка - от всетаки ошибка сервера. провертье все ли скрипты у вас правильно отрабатываю. в консоль лоше посмотрите есть ли ошибки. если поймаете момент когда сервер упал - в консоле смотрите вкладку Сеть - и смотрите какой запрос возвращается с ошибкой

Answer 1

[Everything_is_not_so_bad]

Смотреть на любые 50x ошибки в логах Апачи:

• время ответа
  
• размер запроса и ответа
  
• user agent
  

Желательно иметь и статистику по пулу запросов Апачи, чтобы знать какова загруженность веб-сервера.

Comments

[Виктор Таран]

'импорт экспорт в это время ?
глянь крон

[Ilia Malashko]

50x ошибок в apache нет. До него не доходит. Из за загруженности apache 502 отдает nginx. В nginx запросы 502 не информативны, он просто отдает 502 всем подряд пока не оживет apache

[Ilia Malashko]

Виктор Таран, проверяли. Нет корреляции ни с выгрузками ни с кроном. И время падения разное в течении дня. Так же падения бывают только днем, когда на сайте есть трафик.

[Everything_is_not_so_bad]

Ilia Malashko, а по каким путям получаете 502? Что они обслуживают?

[Ilia Malashko]

Román Mirilaczvili, не совсем понял вопрос.
Nginx принимает запрос пользователя, в случае, если все обработчики apache заняты медленными запросами, через какое-то время новые запросы завершаются с ошибкой 502, не дождавшись обработки.
Я ответил на вопрос?
Если нет, то можете развернуть вопрос, я его переадресую админам сервера.

[Everything_is_not_so_bad]

Ilia Malashko,

по каким путям получаете 502? Что они обслуживают?

речь о части пути, что идет после имени домена. Мой вопрос больше про то какую предметную логику они обслуживают, получая ошибки 50x. Возможно, ответ кроется в и этом и в том какое количество запросов веб-сервер обслуживает в тот промежуток времени. Если запросов много и у веб-сервера много запросов с медленным ответом, то он должен держать их в пуле соединений.
Подключите какой-нибудь APM к своему фреймворку и тогда хотя бы будете знать что происходит на уровне веб-приложения.

[Everything_is_not_so_bad]

Ilia Malashko,
Вообще-то, судя по графику, запросов совсем мало. И что, почти 5 минут получаете 502?!
Приложи-ка график (гистограмму) с количеством ошибок 50x за тот же промежуток времени, для ясности происходящего.

[Ilia Malashko]

речь о части пути, что идет после имени домена. Мой вопрос больше про то какую предметную логику они обслуживают, получая ошибки 50x.

Все страницы отдаю 502. Все php, даже файлы "hello world" с расширением *.php.
Картинки и прочее что обрабатывает nginx открывается.

Подключите какой-нибудь APM к своему фреймворку и тогда хотя бы будете знать что происходит на уровне веб-приложения.

У нас есть zabbix, его же можно отнести к APM? Или надо что то поставить на уровне самого сайта?

Вообще-то, судя по графику, запросов совсем мало. И что, почти 5 минут получаете 502?!

Это график запросов apache, и на момент падений их там не мало, а 0 :) Запросы просто не доходят до apache, Apache загружен и не обрабоатывает запросы, 502 отдает nginx. Соответственно и в access логах apache 502 нет, в nginx куча. К примеру падали утром, за 5 мин 1081 запросов с 502

[Everything_is_not_so_bad]

Ilia Malashko,

есть zabbix, его же можно отнести к APM?

Нет, APM - это то, что подключается внутри приложения, обычно как библиотека/пакет.

К примеру падали утром, за 5 мин 1081 запросов с 502

А в качестве гистограммы можно?

[Everything_is_not_so_bad]

grep-ните и извлеките (awk) время ошибки 502, чтобы были дата и время, сохранив в CSV.
Это можно затем импортировать в любом spreadsheet и построить гистограмму.

[Ilia Malashko]

Román Mirilaczvili,

Нет, APM - это то, что подключается внутри приложения, обычно как библиотека/пакет.

Можете что то посоветовать, под битрикс желательно. И что бы не создавало большую доп нагрузку, а то я хотел поставить xhprof, сис админы сказали что откажутся работать если я это поставлю.

А в качестве гистограммы можно?

Я могу ее как то построить по логам или надо мониторинг в забикс добавить?

[Everything_is_not_so_bad]

Я могу ее как то построить по логам или надо мониторинг в забикс добавить?

Можно по логам, как я написал:

grep-ните и извлеките (awk) время ошибки 502, чтобы были дата и время, сохранив в CSV.
Это можно затем импортировать в любом spreadsheet и построить гистограмму.

[Ilia Malashko]

Román Mirilaczvili, готово.
Раньше таким не занимался, интересно. Даже если не поможет в решении проблемы, получил удовольствие от процесса.

И вот сам csv

[Everything_is_not_so_bad]

Ilia Malashko,
по CSV можно увидеть пики

19/Oct/2022:15:21:03;305
19/Oct/2022:16:47:15;250

что они как раз соответствуют провалам в графике запросов.
Проверьте что за запросы (пути, маршруты) обрабатывались в те ближайшие секунды.

[Everything_is_not_so_bad]

Ilia Malashko, причина таки была найдена?

[Ilia Malashko]

Román Mirilaczvili, кажется да. Не отвечал потому что наблюдаем.
Когда анализировал лог apache во время падений заметил что в accesse все подряд: .jpg, .png, .js и тд.
Ранее зачем то на каталог /local/ повешали правило, что бы nginx все отдавал на apache. Настроили как положенно, вроде все работает пока.
Текущее обсуждение было не со всем про то, но натолкнуло на решени, так что отмечу решением. Спасибо!

Answer 2

[Dimonchik]

APM какой стоит?
всуньте JS (like google analytics) на сами 50* страницы, может получится уловить IP/окружение

Comments

[Ilia Malashko]

APM - zabbix. Недавно поставили, мониторим пока только кол-во запросов в сек. Не подскажите какие еще графики могут дать информацию по падениям?
На данный момент 502 отдает nginx, сегодня сделаем редирект на нашу кастомную страничку, раньше не посещала эта мысль, спасибо.