Диагностика проблем на хостинге?

Question

[Adamos]

Имею проблемы с хостингом (шаред).
1. Периодически на произвольное время отваливается доступ по SSH, выдает "shell request failed on channel 0"
У хостера есть панель с SSH-консолью, она отваливается тоже.
2. В это же (предположительно) время перестают выполняться CRON-задачи. Иногда в почту прилетает от них "cannot fork", но чаще просто молча не выполняются.

Техподдержка цитирует дежурную шпаргалку: "Подобная ошибка возникает, когда превышено максимальное число процессов на аккаунте - более 40". Больше ничем помочь не может. Причем в этом году ТП настолько в клинче, что отвечает через несколько часов, когда сервер уже попустило и "проблема не обнаружена". Тупик.

ЧСХ, сайты на хостинге в это время работают без затыков и 502, проблемы только с моим доступом и кроном.

Собственно вопрос: как и что я могу сам диагностировать в условиях, когда зайти на сервер не получается.
Вот, скажем, запущенная в такой ситуации через PHP system команда:

USER       PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND
user  2532  0.0  0.0 635496 52260 ?        S    Apr17   0:42 /usr/sbin/apache2 -d /etc/apache2-user-80 -k start
user  4082  0.0  0.0 694572 18732 ?        S    Apr17   0:00 /usr/sbin/apache2 -d /etc/apache2-user-81 -k start
user  4083  0.0  0.0 639572 47544 ?        S    Apr17   0:40 /usr/sbin/apache2 -d /etc/apache2-user-80 -k start
user  4371  0.0  0.0 694572 19152 ?        S    Apr17   0:00 /usr/sbin/apache2 -d /etc/apache2-user-81 -k start
user  4373  0.0  0.0 639584 47508 ?        S    Apr17   0:41 /usr/sbin/apache2 -d /etc/apache2-user-80 -k start
user  5839  0.3  0.0 652300 71400 ?        S    09:48   0:01 /usr/sbin/apache2 -d /etc/apache2-user-74 -k start
user 14959  0.2  0.0 652136 65460 ?        S    09:51   0:00 /usr/sbin/apache2 -d /etc/apache2-user-74 -k start
user 30946  0.5  0.0 6559404 91516 ?       Sl   08:25   0:30 /usr/sbin/apache2 -d /etc/apache2-user-74 -k start
user 37858  0.3  0.0 652184 69028 ?        S    09:46   0:01 /usr/sbin/apache2 -d /etc/apache2-user-74 -k start
user 53083  0.3  0.0 749984 93492 ?        Sl   08:51   0:14 /usr/sbin/apache2 -d /etc/apache2-user-74 -k start
user 59614  0.0  0.0   4632   760 ?        S    09:56   0:00 sh -c ps -aux
user 59623  0.0  0.0  41192  3604 ?        R    09:56   0:00 ps -aux
user 61871  0.5  0.0 6612920 140152 ?      Sl   09:05   0:17 /usr/sbin/apache2 -d /etc/apache2-user-74 -k start
user 61871  0.5  0.0 6612920 140152 ?      Sl   09:05   0:17 /usr/sbin/apache2 -d /etc/apache2-user-74 -k start

В частности, смущают первые пять строчек. Вчерашние процессы Апача?
На php8 крутится Laravel, на php8.1 - пара заглушек с index.html без скриптов вовсе. Php 7.4 - Битрикс.

Comments

[Drno]

вариант просто перейти на VPS не рассматривали?

[Adamos]

Drno, вариант очевидный, но пока не рассматриваю.
Во-первых, не хочется приковывать себя к сайту круглосуточно.
Во-вторых, нет стопроцентной уверенности в своих силах, а show must go on.
В-третьих, есть стопроцентная уверенность, что если на VPS случатся какие-то инфраструктурные проблемы, которые не могут быть решены клиентом, этот же хостер просто умоет руки... А менять еще и хостера совсем геморно, сайт не может просто сутки полежать, пока переезжает.

Ну, и в общем, пока не начались эти проблемы, нас такой вариант сравнительно дорогого шареда у крупного хостера вполне устраивал. Не хочется просто взять и усложнить себе жизнь без реальной на то необходимости.

[Модератор]

Нарушение п.5.17 Регламента. Запрещены жалобы, сообщения об ошибках и проблемах в работе электронных ресурсов.

[Модератор]

Не надо ставить как можно больше тэгов. Лучше оставить один, но конкретный, с которым проблема.
См.п.3.1 Регламента. Также обратите внимание на п.3.6

[Adamos]

Модератор, я не называю хостера и прошу помощи в инструментах администратора.
Без предоставленной информации и фактуры мне просто не смогут помочь, при всем желании.

[Алан Гибизов]

А ssh-то хоть какое-то разумное время доступен? Или вовсе зайти не получается никогда хоть насколько-то?

[Adamos]

Алан Гибизов, сегодня с 8:00 до 10:30 не мог достучаться и не работали крон-скрипты.
После этого - свободно захожу, подключаю диск по SSHFS, читаю логи - все летает.
До следующего клинча - может быть, завтра... или через несколько дней.
Что сегодня утром делал с сервером хостер - мне, увы, неизвестно.

[Zerg89]

Пишите подробные логи, смотрите какие ошибки в момент отсутствия доступа/не выполнения задач
Ps странный хостер, ограничение по количеству процессов и естественно системные они тоже считают?

[Adamos]

Zerg89, логи чего? Крон-скрипты пишут свои логи, но если они не выполняются - соответственно, ничего и не пишут. Если валятся с ошибкой - она прилетает мне на почту:
/bin/sh: 1: Cannot fork
/bin/sh: execle: Resource temporarily unavailable
(это штатный битриксовский планировщик, например).

[Руслан Федосеев]

тариф хостинга не сьели случаем? может просто ресурсов не хватает... Лучше конечно на VPS идти....

[Adamos]

Руслан Федосеев, тариф помесячный, оплачен до лета.
Насчет ресурсов - в эти выходные дважды переехали на другой сервер (с первой попытки попали на сервер, где отваливались по таймауту запросы к внешним API, даже Битрикс за обновлениями дотянуться не мог).
Этот сервер уже четвертый в этом году, так что вариант проблем конкретного сервера, видимо, можно исключить.

[smilingcheater]

Adamos, эти приключения у вас в рамках одного хостера, или хостера вы тоже уже меняли?
Если не секрет - напишите что за хостер с такими "весёлыми" ограничениями?

По сути проблемы, смотрели логи апача? Есть ли всплеск посетителей в то время, когда происходят проблемы?

Чисто теоретически, сервер может быть так криво настроен, что вам мешают ваши соседи по серверу, и не пеехав к другому хостеру вы скорее всего ничего с этим не сделаете.

[Adamos]

smilingcheater, см. выше - модератор напоминает, что здесь площадка не для жалоб. Так что называть не буду.
Да и жаловаться особенно не буду - мы на этом хостинге уже лет пятнадцать, было вменяемо.

С логами Апача тоже приключения, они вдруг оказываются пустыми или появляются снова, какой-то фильдеперсовый механизм отображения. Но, повторюсь, во время проблем работа самого сайта, тьфу-тьфу, никаких нареканий не вызывает. Выделил хостер пул обработчиков - и он работает, все штатно.

Более того - если я подключил сервер по SSHFS до возникновения проблем - соединение сохраняется, и я продолжаю с ним работать, как ни в чем ни бывало.

[smilingcheater]

Adamos, подключение сохраняется, потому что процесс под него успел запуститься, пока ещё были свободные слоты под процессы.
Могу предложить держать постоянное подключение по SSH к серверу и при возникновении проблем проверять состояние сервера и процессов через него.

[Adamos]

smilingcheater, вопрос как раз в том, КАК и ЧТО мне можно проверить в этой ситуации.
Я вон запустил PS из PHP-скрипта, не имея подключения. Он показал 14 процессов, а не 40.
И куда мне дальше копать?
Я, признаться, даже эти результаты не уверен, как трактовать. Что означают эти первые пять строчек со вчерашними скриптами, в частности. Если про 8.1 еще может оказаться, что на те сайты никто и не заходил с той поры, то сайт на php8.0 работает в режиме API для сервисов, к нему обращения идут хотя бы раз в минуту стабильно. А мне показывает его запросы суточной давности.

[shurshur]

Adamos, "вчерашние" процессы при mpm-prefork это более чем нормально. Запущено ндцать воркеров, они обрабатывают запросы. В зависимости от настроек, worker перезапустится при выполнении некоего лимита на количество запросов. И количество воркеров тоже может адаптироваться под нагрузку. Я бы начал с уменьшения их максимального числа (ServerLimit), сделать лимит например 30, чтобы было точно меньше 40.

[Adamos]

shurshur, ограничены не только обработчики PHP, но и системные процессы в целом, и именно в их ограничение (по утверждениям ТП) я упираюсь. Как раз PHP и Apache работают себе и не ломаются.

Не создается новый процесс shell при входе по SSH (соответственно, получаю отлуп) и не запускаются задачи CRON, тоже требующие нового процесса. Причем тянуться это может часа три - даже не представляю, что может забивать столько процессов в течение такого времени.

Причем я на этом сервере - пользователь, никаких изменений лимитов я выполнить просто физически не могу.

[shurshur]

Adamos, а если задачи в cron все поотключать проблема остаётся?

Вообще, я бы не связывался с хостингом, который даже лимиты нормально настроить не может.

[Adamos]

shurshur, проблема спорадическая, не чаще раза в день. А может и пару недель не замечаться.
Кроновыми задачами тоже столько не забьешь, там только две ежеминутные (шедулеры Лары и Битрикса, задачами отнюдь не заваленные), одна раз в 10 минут, одна раз в 2 часа (эти опрашивают внешние API и за ними я внимательно слежу) и несколько - раз в сутки, разбросанные по времени. С тем временем, когда они выполняются, никакой корреляции нет, наоборот, они отрабатывают вечером-ночью-утром, а SSH я теряю в рабочее время, когда ничего, кроме тех четырех, запускаться не должно.

[Руслан Федосеев]

перестаньте мучаться, идите на VPS

[Adamos]

Руслан Федосеев, а там за меня эльфы будут проблемы решать?
Я вот сейчас с этим корчусь, однако сайт работает, посетители довольны, бизнес не теряет бабло.
На VPS без достаточного опыта администрирования я все проблемы огребу в одно лицо, и круглосуточной будет не ТП хостера, а моя собственная головная боль.

[Руслан Федосеев]

В рамках VPS у вас будет больше ресурсов, вы будете менее зависимы от соседних сайтов на шареде. Сейчас вполне может быть проблема не в вашем сайте, а в сайте соседа, про которого вы и не знаете ничего.
Если взять VPS и поставить на нее тот же ISPmanager - то в большинстве случаем вы даже и не заметите особой разницы. Только прав больше и возможностей )
В крайнем случае найти админа на поддержку - не сложно

[Adamos]

Руслан Федосеев, сервера меняются, проблемы остаются. На соседей кивать уже не получается.
У меня лежат на VPS менее важные проекты, можно не расписывать, как это удобно - я в курсе.
Но с этим я экспериментировать не имею права.
Сейчас задача дотащить этот Битрикс со всем, что на него наросло за 15 лет, на php8 - уже выжимает кучу сил.
Создавать еще одну (а может, и не одну) причину для проблем, пока сам сайт стабильно работает, я не буду.

[Руслан Федосеев]

если бы он стабильно работал - вас бы здесь не было.
Ок, продолжайте дальше кушать кактус...

[Adamos]

Руслан Федосеев, повторяю в третий раз: сайт работает стабильно.
Проблемы, озвученные в вопросе, никак не затрагивают ни пользователей, ни сотрудников, работающих на служебных разделах сайта.
Впрочем, вам это вряд ли интересно...

[Руслан Федосеев]

Проблемы озвученные в вопросе решаются очень просто - у вас исчерпаны лимиты памяти, процессора, файлов, и т.д. Т.е. вы выросли из тарифа вашего хостинга. Либо уходите на больший тариф, либо если это невозможно - идите на VDS. Удивительно, что ТП хостинга вам это не сказала....

[Adamos]

Руслан Федосеев, у меня на графиках использования ресурсов в панели хостера линия ограничения где-то за экраном, нагрузка как минимум на порядок меньше.
ТП сейчас размышляет над вопросом, каким образом был получен указанный в вопросе список процессов, если я уперся в лимит процессов. В списке два процесса - с командой ps, которые таки были, как ни в чем ни бывало, мгновенно созданы именно в то время, когда SSH отдавал "shell request failed". И когда они отработали и закрылись - SSH продолжал выдавать эту ошибку.
Может, вы умнее не только меня, но и моей ТП? Разъясните эту загадку.

Answer 1

[AUser0]

Настраивайте monit, пусть отслеживает ресурсы. Как минимум в логах будет отражаться...

P.S. Непривилегированный user видит только собственные процессы (14 штук на скриншоте). ROOT видит вообще всё.

Comments

[Adamos]

Вот я как раз непривилегированный юзер, которому ТП вменяет превышение лимита в 40 моих, юзерских, процессов. А я вижу 14 и рассматриваю варианты, что можно сделать в такой ситуации.
Кроме очевидных и деструктивных, разумеется.

[AUser0]

Adamos, вот тут люди пытаются получить вообще все работающие процессы.

[Adamos]

AUser0, вообще все юзеру система не покажет. А чтобы был лес дочерних, должны быть родители, которые их породили. В моем списке один Апач, и с ключом ps -aux --forest предсказуемо показывает, что ничего дочернего эти воркеры не наплодили.

[AUser0]

Adamos, внимательней поизучайте приведённую ссылку.

Answer 2

[Vitaly Karasik]

Насколько понимаю, на shared hosting больше ничего не понять самостоятельно, только пробовать перейти на более дорогой тариф, и/или просить поддержку проверить логи линукса.
На "нормальном" линуксе в такой ситуации мы можем посмотреть системный лог (обычно /var/log/syslog или /var/log/messages), и там найдем сообщения о нехватке памяти, кол-ва открытых файлов, или что-то еще.

Comments

[Adamos]

Тариф и так недешевый, а с ТП, которая теоретически может что-то увидеть, бодаюсь уже который месяц без особенного прогресса. Они у себя видят, что все хорошо. Например, мои крон-скрипты у них числятся исполнявшимися.
То, что эти скрипты строго в определенный период (как раз когда я не мог войти по SSH) ничего не сделали и даже не выкинули при этом ошибок, хотя до и после этого периода штатно работают - это уже как бы мои половые трудности.

[Vitaly Karasik]

Тогда ИМХО только менять хостера. Если они не признают существующую проблему - тут не о чем говорить.

[Adamos]

Vitaly Karasik, да не то чтобы не признают... вроде бы готовы разбираться. Но рефрен "извините за ответ через пять часов, наблюдается высокая нагрузка на ТП" и постоянная ротация ответственного за тикет, в которой, похоже, никто не заинтересован убить лишнее время не то что на решение - даже на знакомство с проблемой.
В результате шаблонную отписку про 40 процессов я вижу в десятый раз в пределах одного и того же тикета.

Сейчас как паллиатив подумываю вынести Лару на VPS (сайт менее критичный, более легкий и простой в обслуживании), оставив на шареде один Битрикс - может, ему и полегчает.

[IKStantin]

Adamos, правильно, с выносом Битрикса на VPS не торопитесь. Нормально настроить его в неродной среде не самая простая задача. Я бы под него для начала отдельный VPS бы держал, установленный с образа от 1С (это настроенный Centos с кучкой допсофта).

[Adamos]

IKStantin, причем, насколько я видел, это настроенный на php7.4 CentOS, хотя уже с 1 февраля Битрикс пафосно объявил, что пых ниже 8 поддерживать не хочет. Тут не то что "не торопитесь", тут "на хрена козе баян?!". Хостер-то мой - напрочь сертифицированный партнер того Битрикса и вроде бы уверенно его умеет.

Впрочем, на моем интранет-сервере еженощная бэкап-копия этого Битрикса шевелится себе и верно служит мне для экспериментов и разработки. И в Докере я его под php8 поднял для постепенного перевода на эту версию. Но повторять такие эксперименты на боевом сервере, да с таким киндер-сюрпризом, как Битрикс - слуга покорный...

[IKStantin]

Adamos, так-то у меня он тоже крутился на Дебиан 11 на пыхе 7.4. Но при настройке кровушки попил. И, какое счастье - в прошлом месяце мы ушли от Битрикса, переверстав сайт на WordPress, и радуемся. Сайт был простейший, а ресурсов жрал дай боже. Сейчас отлично крутится на одном vCPU с 2 МБ ОЗУ вместе с кучкой аналогичных мелких сайтов.

[Adamos]

IKStantin, бэкапный-то у меня не так давно работал под Debian 7 на Atom510 с 1 Gb памяти. Но это не для рабочей нагрузки, конечно.
В принципе, так, чтобы прямо проблем при настройке - не помню. И "простейший" - это вообще не про него, сайту 15 лет, там одних CMS ДСП три штуки. Правда, собственно Битрикс в них используется минимально - для авторизации да разграничения доступа, в основном. Есть мечта все это перетащить на Лару и забыть, как страшный сон, но объем просто неподъемный. Сейчас даже просто до php8 это дотянуть - уже грёпнешься.