Как сделать автоматический ребут сервера?

Question

[mgkirs]

Существует ли инструмент для автоматического ребута сервера еслси на сервере сбой? Меня интересует стабильность работы сайта на vps.

Answer 1

[Влад Животнев]

Про monit почитайте, он вашу проблему решит.

Comments

[mgkirs]

Думаю то что надо. Вроде настроил, но протестировать, как не знаю... Убил процесс через pkill а moint его не восстановил... В логах написано, что демон moint запущен и на этом все...

Через #$ moint stop hhvm не останавливается пишет нет конекта с демоном moint

[Влад Животнев]

@mgkirs а покежьте конфиг и ps ax

[mgkirs]

В процессах moint есть

[Влад Животнев]

@mgkirs да с monit-то что случится)
Мне интересно, как вы там определяете, что hhvm умер. Ну и если через дерево процессов - то не грепается ли там что-то лишнее.

[mgkirs]

monit validate
работает если отключить перед этим hhvm).

Вот конфиг:

check process hhvm with pidfile /var/run/hhvm.pid
group www
start program = "/etc/init.d/hhvm start" with timeout 60 seconds
stop program = "/etc/init.d/hhvm stop"
if cpu > 50% for 3 cycles then alert
if cpu > 90% for 3 cycles then restart
if totalmem > 4000.0 MB for 3 cycles then restart
if children > 1200 then restart
if failed host 127.0.0.1 port 80 protocol HTTP then restart # передернуть если не отвечает.

[Влад Животнев]

@mgkirs
> if failed host 127.0.0.1 port 80 protocol HTTP then restart
А вы уверены, что curl localhost ходит именно в php а не в статику?

[mgkirs]

ps ax:
2951 ? S 0:01 /usr/bin/monit -c /etc/monit/monitrc
3157 ? Ssl 0:00 /usr/bin/hhvm --config /etc/hhvm/server.hdf --user www-data --mode daemon

[mgkirs]

@inkvizitor68sl Скопировал не с конфига в оригинеле все также только порт какой нужен стоит 4247

[mgkirs]

curl? тут вроде не причем curl...

[Влад Животнев]

@mgkirs мхым.
А в логах monit после падения hhvm что?

[Влад Животнев]

@mgkirs curl здесь при том, что курлом можно проверить, куда идет monit и что ему там отвечают.

[mgkirs]

[CEST May 6 15:19:27] info : 'system_vitanail.ru' Monit started
И тишина. Как посмотреть что там в курл? команда сurl не найдена...
Устанавливал monit через aptude

[Влад Животнев]

@mgkirs curl-то тоже поставьте.

В общем, там куда вы ходите monit-ом проверять живость php всегда отвечают 200-кой (иначе в логе была бы запись о том, что что-то там не получилось сделать).
Что-то в духе такого:
[MSK Dec 22 19:18:09] error : ICMP echo response for censored.biz 1/3 timed out -- no response within 10 seconds

[mgkirs]

Установил curl мб в нем дело...

[Влад Животнев]

@mgkirs ну или как вариант, вы вообще конфиг не подключили.

В вебморде монита проверка вообще есть?

[Влад Животнев]

@mgkirs curl нужно не просто поставить (он к monit отношения не имеет), а сделать им запрос, чтобы посмотреть, что php отвечает на запросы monit-a (и php ли отвечает вообще).

[mgkirs]

Ясно)) Я уверен в ответе вот, что он отвечает когда не работает демон.
curl: (7) couldn't connect to host
Когда работает все ок.

[Влад Животнев]

@mgkirs тогда в вебморду монита смотрите, есть там проверка?

[mgkirs]

В конфигах monit стоит set daemon 30. Как я понял это секунды. Не происходит валидация почемуто....

[mgkirs]

system_vitanail.ru Running [0.04] [0.05] [0.01] 0.0%us, 0.0%sy, 0.0%wa 3.7% [233296 kB] 0.0% [0 kB]
Process Status Uptime CPU Total Memory Total
mysql Running 31m 0.0% 0.6% [43080 kB]
nginx Running 10m 0.0% 0.2% [16452 kB]
hhvm Not monitored

(((

[Влад Животнев]

@mgkirs https://debian.pro/1561 попробуйте у меня отсюда выдернуть конфиг /etc/monit/monitrc
Конфиги проверок складывайте в /etc/monit/conf.d/*.conf

где то вы проверку недоподключили

[mgkirs]

Большое вам спасибо за помощь. В общем никакие конфиги мне не помогли. Обновил hhvm до 3.0.1 Перешел на fastcgi. И как-то оно все само заработало. Единственное никак не промониторить ответ от fastcgi

[Влад Животнев]

@mgkirs ну fastcgi можно мониторить примерно так - richard.wallman.org.uk/2010/03/monitor-a-fastcgi-s...

[mgkirs]

@inkvizitor68sl Побывал - не завилось, а изучать как оно там по fastcgi сообщениями обменивается не охото.

Answer 2

[Konstantin Kozhin]

Вообще на уровне гипервизора подобные инструменты должны быть. Однако, вряд ли они доступны изнутри vps-контейнера. Хостеров, которые бы предоставляли API к этому механизму на гипервизоре, я не встречал. Видимо из соображений безопасности не дают.

Если у вас есть доступ к гипервизору (например, вы арендуете физический сервер, где развернули VPS), то нужно знать, какой именно гипервизор у вас.

А так вы можете мониторить отдельные сервисы на VPS и перезагружать их по мере необходимости с помощью самописных скриптов или спец. ПО (например, Zabbix). Конечно если весь VPS "умрет", это не спасет ситуацию.

Answer 3

[pomeo]

У вас подход не с той стороны. Сбои надо мониторить и устранять причины сбоя.

Comments

[mgkirs]

Под сбоем подразумеваю падение демона hhvm

[pomeo]

@mgkirs тогда supervisord.org вам в помощь, поднимает упавшие процессы

Answer 4

[Игорь]

Если под сбоем понимается kernel panic, то можно добавить в /etc/sysctl.conf строку:
kernel.panic = 3
тогда после kernel panic система автоматом будет перезагружена через 3 секунды.

В остальных же случаях надо каждый сервис/демон мониторить отдельно и уже на этот мониторинг вешать какой-либо обработчик.

Comments

[mgkirs]

А по подробней где можно найти информацию о том как их мониторить?

[Игорь]

Можно, например, самому написать скрипт на bash (или на чем вам ближе), который будет мониторить наличие нужного процесса в списке процессов (ps aux | grep process) и если его нет, то запускать его.
Можно доверить это какой-либо сторонней утилите вроде того же supevisord.

Answer 5

[Сергей]

Смотря что подразумевается под сбоем. Иногда лучше не ребутить машину. Ибо это может больше вреда нанести.