Почему зависает сайт при свободной памяти и процессоре?

Question

[MIXANIX]

Такая проблема!
Сайт крутится на VDS: Centos 7 (от BitrixVM) + php 7.1 + apache 2.4 (prefork) + nginx.
Уже как 2 недели бывают краткосрочные зависания сайта (скорее всего apache2) (не зависит от времени суток и дня недели)
при этом:
- оперативки более чем достаточно (200-300 мб свободно, так почти
всегда), swap почти весь свободен, процессор в моменты зависания по
большей части свободен (не выше 7% загрузка), диск не нагружен.
- В логах apache, nginx, mysql пусто, без ошибок,
- DDOS-атаки не видно, всплеска посещаемости нет.

Зависание как будто от тяжёлого процесса апач и ничего больше не дает делать, но при этом зависают сессии всех пользователей, а не только моя. Это при prefork! Nginx в этот момент работает штатно и неавторизованным пользователям отдаётся сайт из кэша.

В момент зависания в списке запущенных процессов httpd пропадает, как будто не запущен, а попытка его перезапуска командой systemctl restart httpd, не приносит результата, зависает на 1-2 минуты, как будто тяжелый процесс держит апач. Перезапуск апача не гарантирует, что работа восстановится, бывает что через минуту все повторяется снова.

Служба поддержки VDS таймвеба бегло всё проверила и тоже ничего не нашла.
Куда копать?
Помогите!

Скрин atop в момент зависания:

Comments

[Олег]

https://ru.stackoverflow.com/questions/645207/dead...

dead lock точно нет в муське ?

[MIXANIX]

В логе ошибок нет, на всякий случай проверил на повреждения, провёл оптимизацию. Медленных запросов нет. Перезапуск mysql проблему не решает.

Answer 1

[MIXANIX]

Проблему решил.
Дело было в Bitrix CMS, а именно нашел функцию SessionTable::lock, которая шлет запросы GET_LOCK("***", 60) в базу.
Как назло в документации о ней мало что написано. Не понятно, когда она срабатывает, но у меня подозрение что когда число одновременных запросов к MySQL подбирается к лимиту.
В результате получаем блокировку сайта на 1 минуту и пустые логи.
Часть запросов к БД которые шли через Битрикс прописал на чистом PHP и зависания прекратились.
Всем спасибо!

Answer 2

[Вадим]

А что насчет IOPS, не возрастает ли нагрузка на диск в это время? Может он и есть слабое место?

Comments

[MIXANIX]

iotop проверил, диск почти не используется

Answer 3

[Олег]

https://ruhighload.com/%D0%9A%D0%B0%D0%BA+%D0%B2%D...

50 медленных запросов и никто кроме рута 51 не сможет присоединиться.

Comments

[MIXANIX]

внес изменения, проверил - ничего такого нет.

[Олег]

когда зависнет постучитесь в phpmyadmin. Если рута муськи впускает, а других нет.
То выбрана квота коннектов. Соединение может висеть или из-за медленного запроса
или из-за взаимных блокировок.

Кроме базы данных может у Вас еще, что-то на сайте имеет ограничения по кол-ву одновременных
соединений.

[MIXANIX]

Олег, ограничения поднял в 3 раза, не помогло
Да в phpmyadmin не зайти, но это кажется проблема апача, т.к. phpmyadmin работает через него.

[Олег]

увеличение квоты подключений не решает проблему.
не знаю насколько вы знакомы с командной строкой.
/>mysql -u root
mysql>show processlist;

Аналог этого красиво в phpmyadmin :
Сервер - Состояние - Процессы

[MIXANIX]

Олег, mysql свободна, но через консоль в момент зависания заметил через show processlist резкий скачок запросов, обычно 2-5, а было 40, причем большинство типа SELECT GET_LOCK("17df945e1673cfd39566e064e4af1f6c", 60), х.з. что это возможно Bitrix что-то делает

[Олег]

гуглим dead lock . Когда будете про них читать поймете вообще проблемы блокировок.
У вас славо боги не диад, а просто узкое место.
накладывается блокировка. что-то считается . пишется новое значение. снимается блокировка.
но вот только очередь из тех кому надо посчитать становиться больше доступных коннектов к муське
сайт падает

з.ы. буду долго смеяться, что это например счетчик просмотра страниц сделан в самой записи новости.

[MIXANIX]

Олег, большое спасибо! Будем искать. Теперь самое сложное найти

[Олег]

в логах апача за минуту до начала зависона. сузит поиски до небольшого количества контролеров.
хотя забываю, что у вас битрикс, а у него MVC никак.

Еще полезно подглядеть юзера муськи, кто локи ждет. Может это совсем другой сайт на серваке.
Например ваш внутренний crm виноват, если работает от того же имени пользователя.

И да ждать целую минуту жестоко, при учете что php таймаут обычно 30 секунд.
т.е. 51 хит за 30 секунд и сайт лег.

GET_LOCK(str,timeout)
Пытается осуществить блокировку по имени, которое заданно в строке str, с временем ожидания в секундах, указанном в аргументе timeout. Возвращает 1, если блокировка осуществлена успешно, 0 - если закончилось время ожидания для данной попытки, или NULL, если возникла ошибка (такая как отсутствие свободной памяти или уничтожение потока командой mysqladmin kill). Блокировка снимается при выполнении команды RELEASE_LOCK(), запуске новой команды GET_LOCK() или при завершении данного потока. Эту функцию можно использовать для осуществления блокировок уровня приложения или для моделирования блокировки записи. Функция блокирует запросы других клиентов на блокировку с тем же именем; клиенты, которые используют согласованные имена блокировок, могут применять эту функцию для выполнения совместного упредительного блокирования:

[MIXANIX]

Проблему решил.
Дело было в Bitrix CMS, а именно нашел функцию SessionTable::lock, которая шлет запросы GET_LOCK("***", 60) в базу, х.з зачем и как, но переписал часть кода на чистом php и зависаний пока нет.
Еще раз спасибо!

[Олег]

MIXANIX, обычная лень программистов. в 99% процентов случаев сессию можно отпустить после начального чтения. Но вдруг нам потребуется что-то в нее сохранить в постхуках, так что мы ее еще и залочим первым делом.

Answer 4

[d'Ivan]

Нечего гадать. Нужна информация по мониторингу параметров ОС.

Чтобы узнать подробнее, нужно иметь историю событий. Программа atop умеет вести учет процессов и ресурсов, позволяя позже проиграть историю, выяснив причину проблемы.
https://haydenjames.io/use-atop-linux-server-perfo...
https://haydenjames.io/linux-server-performance-di...

Как диагностировать зависание php-fpm процессов?

Comments

[MIXANIX]

установил atop, буду мониторить.

Насчет загрузки диска, смотреть по iotop в момент зависания <5%
Нагрузку обычно смотрю через top - ничего лишнего нет в момент зависания, обычно:
mysqld, rcu_sched, searchd, memcached, nginx, systemd, systemd-journal
а load average показывает значения меньше 1
Единственная странность отсутствие или наличие только 1 процесса httpd

[d'Ivan]

atop совмещает в себе набор утилит и заменяет необходимость в top, iotop и др.

[d'Ivan]

MIXANIX

а load average показывает значения меньше 1

Выше 0.7 уже указывает на нагрузку CPU.

[MIXANIX]

скрин в момент зависания:

[d'Ivan]

MIXANIX, интересные результаты.
А каковы полные версии ОС и ядра?
Зацепило внимание "ipc notavail" и количество потоков у mysqld.

[MIXANIX]

Роман Мирр,
CentOS Linux release 7.6.1810 (Core)
Linux 3.10.0-957.12.2.el7.x86_64

[d'Ivan]

MIXANIX, ядро древнее, аж выпуска 2013. Надеюсь, проблема не связана с какими-то старыми болячками.

[d'Ivan]

MIXANIX, тогда остается вести мониторинг Апача и заодно трассировать само приложение.

Answer 5

[FOcuswOwX]

Сайт не обращается к каким-нибудь сторонним ресурсам? Похоже что ответ не получается и зависает

Comments

[MIXANIX]

через cron file_get_contents качаются скрипты метрики и аналитики, чтобы настроить время кеширования через сайт.
Но сами понимаете, что эти скрипты доступны всегда, проблем с их загрузкой нет. Тем более в лог бы попали ошибки, а там пусто.

[FOcuswOwX]

MIXANIX, была проблема с внешним сервисом, он почему-то долго отдавал ответ, там не был настроен таймаут, либо был очень большой, поэтому скрипт зависал и всё не отрабатывало дальше

[d'Ivan]

MIXANIX, а попробовать другой веб-сервер, не Апачи, есть возможность?

Answer 6

[Алексей]

Если по "железным" ресурсам всё проверили, то попробуйте использовать систему распределённой трассировки типа zipkin. Может быть такая система сможет помочь найти узкие места.

Answer 7

[Alexey Dmitriev]

Покажите вывод команды
cat /proc/sys/fs/file-max

Ну и вообще то облазить /var/log на предмет странных записей в этот момент было бы неплохо.

Comments

[MIXANIX]

cat /proc/sys/fs/file-max
380932

Облазил логи: apache, nginx, mysql, mail - странного ничего нет

[Alexey Dmitriev]

MIXANIX,
посмотрите сколько у вас открытых файлов.
lsof | wc -l
Если близко к 380932 - значит лимит надо повысить.

Ну и проверить здоровье жестких дисков, хотя бы с помощью smartctl взглянув на атрибуты - было бы неплохо.

Answer 8

[Виктор Таран]

iotop -oka и подожди минут 10
так же вклчи в вм мониторинг nagios

Comments

[MIXANIX]

По iotop все норм. Нагрузки нет.
Включал круглосуточный монитор atop, тоже нагрузки никакой нет.

[Виктор Таран]

лоад аварейдж какой
и дай доступ в munin и nagios

была у меня похожая проблема с раздела эксклюзивных из всех отклонений было только это

В общем давйа доступ до мониторингов дабы все это веб морды