Перезагружать процесс, если тот насилует процессор?

Question

[Павел Галкин]

Пытаюсь с помощью Monit'а ограничить аппетиты процесса. Если вдруг жрет CPU, то он бы перезагружался, но почему-то Monit его игнорирует и не перезапускает процесс.


Пробовал такие условия:

if totalcpu > 60% for 2 cycles then restart

…

if cpu usage > 60% for 2 cycles then restart

…

if cpu > 60% for 2 cycles then restart


и ни одна из конструкций не сработала.


ЧЯДНТ?


Может еще какие есть средства кроме монита или есть идеи?

У меня пока иссякли всякие.


PS: ОС Debian 6, платформа виртуализации OpenVZ

Answer 1

[Павел Галкин]

Конструкции вида «if cpu > 60% for 2 cycles then restart» вполне себе рабочие и грешить на monit мне не стоило. Дело оказалось в том, что значение CPU внутри контейнера monit берет от общего и они совсем не похожи на то, что мы видим в top/htop.

Решение — поймать момент нестабильного поведения процесса и снять показания с помощью команды monit status.

Answer 2

[Николай Турнавиотов]

1. По хорошему надо отпрофилировать процесс, чтобы понять где затык и убрать САМУ причину таких граблей.
2. Настроить квоты на процесс и/или виртуалку, чтобы ему (процессу/виртуалке) не отдавалось 100% процессора/памяти/iops/iowait'а

Навскидку всё.

Comments

[Павел Галкин]

Т.е. ловить процесс по повышении CPU, даже долгом пике, бесполезно совсем?

1. Понимаю, сделал бы также, но есть нюансы, как обычно.
2. Квоты не решат задачу — он только ограничит потребление, а хотелось бы чтобы процесс работал постоянно.

[Николай Турнавиотов]

Так разберитесь в какой момент он начинает жрать все ресурсы, ну а дальше переписывать демон. главное пункт первый, остальное это припарка чтобы не уложить машину полностью

[Павел Галкин]

Кастыль для начала тоже бы подошел )

[Николай Турнавиотов]

ну так что и как делать я в первом комментарии описал. дерзайте

Answer 3

[stan_jeremy]

дебиана под рукой нет, но на убунте работает:

check process apache2 with pidfile /var/run/apache2.pid
if totalcpu > 60% for 2 cycles then restart

уверены что правильный процесс мониторите?

Comments

[Павел Галкин]

Понимаю, потому и удивлен, почему не отрабатывает :(

[stan_jeremy]

ах да, а еще у меня монит не удалял-создавал pid файл, поэтому пришлось впиливать небольшой костыль (может у вас тот же случай?)

[Павел Галкин]

Вряд ли. PID создается, удаляется, меняется нормально :) При ручном перезапуске процесса Monit детектит измение PID-номера.

[stan_jeremy]

так, а в логе монита что-то есть?

[stan_jeremy]

дада, впилите как описано тут mmonit.com/wiki/Monit/FAQ (часть Q: I'm having trouble getting monit to execute any «start» or «stop» or «exec» program commands.)

и посмотрите в чем проблема

[Павел Галкин]

Нет, увы.

Пока появилась идея посмотреть monit status в момент проблем, чтобы понять как это выглядит глазами монита… но этот момент нужно еще поймать :) Что-то не додумался до этого до написания вопроса.