Создать демона на python 2.7 ?

Question

[zelsky]

Есть скрипт которий визивает norify os по while True:
Так вот как созадать демона которий запускается при старте ос . И работатет в фоновом режиме без терминала и прочего. Тоесть только показивет собщение ?

Answer 1

[bromzh]

Всегда использую supervisord. Просто отличная штука, ещё и на питоне написанная. Гибкие конфиги, перезапуск при падении. и другие плюшки.

UPD
Как использовать:
1) Ставишь его общесистемно sudo apt-get install supervisor (можно и через пип поставить, но настраивать надо побольше будет).
2) Надо настроить сам супервизор: откуда он будет брать конфиги, какие права нужны и т.д. Если у тебя убунта, то настройки самого супервизора будут в порядке. Они хранятся в /etc/supervisor/supervisord.conf. В этом файле прописано, что настройки для демонов будут читаться из папки /etc/supervisor/conf.d
Если у тебя не убунта, или ты ставил супервизор через пип, то вот стандартный конфиг. Настройки там очевидные
3) Когда супервизор поставлен и настроен, запускай его:

sudo service supervisor start
или
sudo supervisord

4) Теперь надо сделать конфиг для запуска твоего скрипта. Создаёшь файл в папке с конфигами такого содержания:

[program:ОТОБРАЖАЕМОЕ_ИМЯ]
command = КОМАНДА_ДЛЯ_ЗАПУСКА (например python ИМЯ_СКРИПТА)
autorestart = true # автостарт при запуске супервизора
stderr_logfile = /var/log/ИМЯ_ЛОГФАЙЛА.err.log # тут перенаправляем stderr в файл
stdout_logfile = /dev/null # тут глушим весь вывод со stdout

Всё! Управлять твоими демонами можно через команду supervisorctl. Сперва надо перепрочитать конфиг, потом стартануть приложение:

supervisorctl reread
supervisorctl ОТОБРАЖАЕМОЕ_ИМЯ start

Можно опустить ОТОБРАЖАЕМОЕ_ИМЯ, тогда команда будет применена ко всем.
Также ты можешь запустить CLI, если введёшь supervisorctl без параметров. Там по табу смотри команды.
Читай этот раздел, для понимания конфигов запускаемых приложений.

Comments

[zelsky]

Как именно понять ? Курил мануали на сайте мало что понял

Answer 2

[Vladimir Zhurkin]

>И работатет в фоновом режиме без терминала и прочего. Тоесть только показивет собщение ?
Извените, а куда он будет вам показывать сообщение ? Только если в лог писать.
Или вы в X выводите инфомацию ?

В любом случаи вот вам как писать демонов
stackoverflow.com/questions/473620/how-do-you-crea...
habrahabr.ru/post/176067

Для запуска при старте системы надо написать скрипт для старта вашей программы. В теории можно и на bash забацать демона. Если вам интересен этот вариант, я дам пример скрипта.

Comments

[zelsky]

виводит в notify osd написан на питон

[Vladimir Zhurkin]

@BlastPy:

Давайте я сделаю небольшой итог.

сделать свой скрипт нормальным демоном или использовать слд варианты в linux.

Использовать /etc/rc.local для запуска программы в фоновом режиме (&) с перенаправленными потоками ввода/вывода. Можно воспользоваться командой nohup.

Использовать inittab и указать уровень запуска программы (не рекомендую)

Написать скрипт на bash, позволяющий запускать/останавливать/перезапускать программу как демона, а также получать информацию о её состоянии.

[Vladimir Zhurkin]

@BlastPy: Вот вам пример скрипта на bash pastebin.com/R44cHQw3
Не претендует на правильность, но покрайне мере будет понятно.
Основаня часть после trap.

[bromzh]

@icCE: Б-же, зачем такие сложности, чтобы запустить 1 простой скрипт?

[Vladimir Zhurkin]

@bromzh: Ну если вы про скрипт, то как еще ловить изменение ip адреса без демона.

[bromzh]

@icCE: Не, я имею ввиду, к чему такая сложность в запуске самого демона. Вот есть готовый питоновский скрипт. Его надо демонизировать. Самый (на мой взгляд) простой и одновременно надёжный вариант - использовать supervisord.
Он позволяет с лёгкостью запускать всякие скрипты, сервера приложений (для питона, для руби, для любого другого языка). Очень прост в использовании. Позволяет настраивать логирование, запуск от определённого пользователя, переменные окружения (для virtualenv, например), перезапуск при падении, запуск и мониторинг сразу нескольких задач, автостарт и многое другое.

Т.е. отпадает необходимость вручную писать баш-скрипты, которые хранят пид, запускают программу, перенаправляют вывод и т.д. Это всё просто автоматизированно и очень удобно. Ты просто описываешь конфиг для каждой задачи, требующей демонизации, читаешь его (для supervisord есть удобный CLI), запускаешь. Далее, ты можеш остановить отдельную задачу, посмотреть статус, и т.д.

[Vladimir Zhurkin]

@bromzh: не путайте фоновое выполнение программы и программу демон.

[bromzh]

@icCE: Где я напутал? Демон - это процесс, отключённый от терминала. Ты в своём скрипте делаешь это вручную, супервизор делает за тебя. И разница между демоном и процессом, запущенным в screen и демоном совсем небольшая. Если в скрине у процесса перенаправить стандартные ввод и выводы (out и err) в файл, то всё будет работать идентично.

[Vladimir Zhurkin]

@bromzh: а теперь главный вопрос, если все так просто, почему у многих программ есть отдельный режим работы демоном ?

[Vladimir Zhurkin]

@bromzh: и так же посмотрите хотя бы мой скрипт, что бы понять почему я делаю это скриптом. Почему я в скрипте это "зациклел" и как бы мне помог ваш супервизор в данной ситуации.

[bromzh]

В техническом смысле демоном считается процесс, который не имеет управляющего терминала.
Это с вики. Можешь ещё на английской прочитать, как демоны создавать. В некоторых дистрах есть start-stop-daemon.

Почему я в скрипте это "зациклел"
Ты зациклил только потому, что сама программа, которую ты запускаешь, делает какое-то действие и выходит. По-сути, ты написал новую программу на баше, которая в цикле выполняет какой-то процесс, анализирует его вывод и спит некоторое время, после чего по-новой.
Так вот, если сама программа сама запускается в бесконечном цикле, то вручную зацикливать не нужно. Если просто запустить такую программу, то терминал будет занят, в нём будет вывод такой программы. Если запустить в фоне, то процесс всё равно будет привязан к терминалу, поэтому при закрытии терминала такой процесс будет завершён. Если же отсоединить такой процесс, то получится как раз демон.

почему у многих программ есть отдельный режим работы демоном ?
потому что обычно такие программы просто запускают бесконечный цикл, т.н. loop. Это может быть луп от GUI-фреймворка (например, в qt вызов метода QApplication::exec запускает такой бесконечный цикл), может быть ioloop какого-нибудь сетевого фреймворка (например, в питоне 3.4 это asyncio.get_event_loop().run_forever()). Т.е. сама программа выполняется "бесконечно". И такие программы демонизируются внешне: обычно это простой скрипт в init.d. Т.е. как такового режиме демона нет. Вот простой пример: монгоДБ. Она предоставляет 2 команды: mongod и mongo. Первая запускается в бесконечном цикле. Если отдельно её не демонизировать, то процесс при закрытии терминала умрёт. Демонизация происходит в init.d. Да, некоторый программы сразу могут запускаться как демон, но за кулисами там точно такой же алгоритм.

и как бы мне помог ваш супервизор в данной ситуации.
Очень просто: весь твой бесконечный цикл надо вынести в bash-скрипт, а в супервизоре в настройках надо просто указать нужную команду.

# foo.sh
INT_WAN=ppp0
WAN_IP=$(ip addr show $INT_WAN | awk '/inet/ {print $2}')
./ipv6update 
while true
do
    IP_ADDR=$(ip addr show $INT_WAN | awk '/inet/ {print $2}')
    if [ "$IP_ADDR" != "$WAN_IP" ]; then
        WAN_IP="$IP_ADDR"
        ./ipv6update
    fi
    sleep 60
done

А в конфиге супервизора достаточно указать bash /path/to/foo.sh, настроить лог-файлы и запустить эту программу через клиента супервизора - supervisorctl reread && supervisor start.

[Vladimir Zhurkin]

@bromzh: Замечательно, а теперь просто о сложном. Вы правильно донесли мысль, что фоновый процесс - процесс который может завершится. Демон выполняется фоном постоянно. Не будем смешивать две сущности, кто и чем может стать. Далее на тему скрипта. Да можно поставить замечательный supervisor, но зачем ? Это лишний пакет в системе. supervisor может не быть в пакетах. Мой же скрипт будет и работает без него (собственно он и писался, что бы запускается где угодно, не идеально - но сейчас он актуальность потерял и переписывать не надо)
Если идти еще дальше,то все это может делать и upstart во время запуска. Достаточно почитать upstart.ubuntu.com/cookbook . manpages.ubuntu.com/manpages/lucid/en/man8/start-s... и ничего дополнительного ставить не надо. Будет понятно, что где и как искать, а не разбирается с supervisor.

[bromzh]

@icCE:
supervisor может не быть в пакетах.
Он доступен через pip. Так как скрипт питоновский, то pip или хотя бы eazy_install точно стоят в системе.
Я могу привести много аргументов в пользу супервизора:

- Автоматический перезапуск скрипта при его падении. Без него придётся писать дополнительный код на баше.

- Запуск нескольких экземпляров одной программы с разными параметрами. Например, надо запустить 4 экземпляра сервера на разных портах. В супервизоре это делается элементарно:

[program:foo]
command = python runserver.py --port=80%(process_num)02d
process_name = foo-%(process_num)02d
stdout_logfile = foo-80%(process_num)02d.log
numprocs = 5

Это запустит 4 экземпляра процессов на подряд идущих портах, при этом, логи каждой будут в разных файлах:

Имя    Порт  Лог
foo-01 8000  foo-01.log
foo-02 8001  foo-02.log
foo-03 8002  foo-03.log
foo-04 8003  foo-04.log

В случае скрипта, придётся писать дополнительный код на баше.

- Приоритет задач. Чем меньше число, тем важнее задача, она будет запускаться в первую очередь. Если управлять скриптами, надо, например, именовать файлы цифрами в начале, загружать конфиги из одной папки.

- Таймаут на запуск задачи. Если задача запускается слишком долго, то она завершается. В скрипте надо опять писать код, контролирующий это.

- Контроль за размером лога. И опять, надо писать код, чтобы такое работало в скрипте.

- Объединение задач в группы.

- У супервизора есть удобные веб-морды: node.js, есть версии для джанги и пхп.

- Ещё там есть всякие полезные плагины.

- Управление всеми запущенными процессами из одного места. Можно смотреть список запущенных из супервизора программ, их статусы, можно управлять всеми или конкретными задачами. В случае простого скрипта надо как-то хранить и получать список таких задач. И если каждая задача описывается в своём баш-файле, то надо ещё как-то контролировать запуск самих скриптов.

В итоге, чтобы с комфортом управлять задачами в твоём варианте придётся писать много кода на баше и выйдет свой велосипед. В случае супервизора, заместо 50-1000 строк скрипта, можно всё описать простым конфигом в 3-5 строчек для каждой задачи, и при этом не выпить ни капли рома^W^W^W^W написать ни одной строчки на баше.

Я не утверждаю, что нельзя на баше реализовать подобное. Просто это дольше и сложнее. Ну и всё-таки, разница между фоновым процессом и демоном совсем невелика, и всегда можно заменить одно на другое с некоторыми огоорками. И супервизор запускает демонов, хотя можно запускать задачи в режиме фоновых процессов.

[Vladimir Zhurkin]

@bromzh Почти это все можно сделать средствами upstart. Если бы вы прошлись и почитали cookbook. На некоторых системах нет и python. Да же bash парой нет. Хотя не спорю, это исключение из правил.
Я не говорю что supervisor плохо, просто его использование должно быть разумно объяснимо.

[bromzh]

@icCE: Согласен, штука очень похожа на супервизор и вроде довольно удобная. Но питон в юниксах встречается как раз-таки куда чаще, чем апстарт. К тому же (как я понял), последний является частью загрузки самой системы, его нельзя установить локально, а супервизор можно. Ну и как по мне, легче разобраться в настройках супервизора, их не так много. В апстарте всё немного посложнее будет.

[Vladimir Zhurkin]

@bromzh: я к тому и виду, что он часть системы. В других системах наверно есть что-то еще. Это еще одна причина, написать свой демон и уйти от зависимости.

Answer 3

[Snow Dimon]

Скрипт на чем написан?
Если на баше, то добавьте в конце & и кидайте в автозагрузку. Скрипт будет запущен в фоне как демон.

Comments

[Vladimir Zhurkin]

еще неплохо тогда перенаправить вывод >/dev/null 2>/dev/null . Но и запускать через nohup program &

[Snow Dimon]

@icCE: я просто к тому, что не обязательно заморачиваться с демоном, если нужно пускать простой скрипт.

Answer 4

[Александр Карабанов]

Например как-то так https://github.com/serverdensity/python-daemon/blo...

Answer 5

[zelsky]

Вот тебе пример на моем демоне оповещений сообщений из вк.

Answer 6

[Лев Безбородов]

На мой взгляд, идеальная реализация:

web.archive.org/web/20131017130434/http://www.jeji...