Как перезапустить на Линукс упавшего бота, если он многопоточный?

Question

[EugeneVKruglov]

Суть вопроса такова: на сервере Линукс запущен Питон-бот, который из основного потока запускает еще один параллельный поток для обслуживания БД. Бот работает как сервис. Перезапуск должен происходить через 10 секунд после того, как бот по какой-то причине "упал" (RestartSec=10). Однако этого не происходит, и, похоже, из-за того, что когда бот "лежит", параллельный поток продолжает работать. Видимо, ОС воспринимает сервис как рабочий и не перезапускает его. Что можно сделать в этой ситуации, чтобы перезапустить сервис?
Сразу скажу, в Линуксе пока ничего не понимаю!
Это файл сервиса:

[Unit]
Description=Telegram bot 'name'
After=syslog.target
After=network.target

[Service]
Type=simple
User=root
WorkingDirectory=/usr/local/bin/AF_Bot
ExecStart=/usr/bin/python3 /usr/local/bin/AF_Bot/main.py
StandardOutput=file:/usr/local/bin/AF_Bot/af_console.log
StandardError=file:/usr/local/bin/AF_Bot/af_errors.log
RestartSec=10
Restart=always
 
[Install]
WantedBy=multi-user.target

Comments

[rPman]

вариант починить бота совсем не рассматривается?

[EugeneVKruglov]

rPman, рассматривается в первую очередь. Но пока не выяснил причину падения.

[rPman]

По поводу Restart=always я читал что после определенного количества перезапусков, служба все же останавливается, и это правильно, где то в дебрях systemd есть этот параметр.

Правильное решение, оберни запуск своего бота в отдельное приложение/скрипт (десяток строк) которое будет в бесконечном цикле перезапускать упавшее приложение, да еще и отправлять сообщения владельцу о слишком частых падениях

Answer 1

[Vindicar]

1. Починить бота, чтобы не падал. Лови исключения в обработчиках событий, для начала. А если падает не из-за исключения там (а, например, инет отвалился) - ставь обработку исключений на тело бота и заверни всё в цикл while, например.
2. Пометить вспомогательный поток как daemon. Скрипт завершается, когда не остаётся активных потоков - при этом daemon-потоки не считаются. Смотри документацию на модуль threading.

Comments

[Dmitrii]

Vindicar Самое верный комментарий.
Правильно написанное ПО не должно завершаться аварийно. Ошибки, исключения могут быть и это нормально, но стоит обрабатывать/реагировать на них соответствующим способом.

[EugeneVKruglov]

Dmitrii, согласен, не должно. Но полученные логи показывают, что, скорее всего, временно пропала связь, и после нескольких попыток поллинга бот вырубился.

[Vindicar]

EugeneVKruglov, если не хочешь, чтобы бот перезапускал себя сам - try-finally на тело бота, там где поллинг. В finally дай знать второму потоку, что надо завершаться.

[Dmitrii]

EugeneVKruglov, Так ведь можно добавить цикл, try except вокруг polling. Допустим, считать, что отключение связи на пол часа ок, поэтому перезапускать бота пока не пройдет пол часа, допустим. Можно с паузой типо time.sleep, хотя в теле polling, скорее всего, имеется подобное

[EugeneVKruglov]

Dmitrii, спасибо, буду экспериментировать