Как управлять постоянно запущенными фоновыми процессами?

Question

[Артем Советников]

Есть задача:
1. Держать постоянно запущенными несколько процессов, каждый из которых держит открытым сетевое соединение к серверу и получает сообщения.
2. Как-то эти процессы надо запускать и следить, что они работают, перезапускать в случае необходимости.
3. При необходимости останавливать или запускать новые процессы с параметрами.

Не могу найти ничего готового для такой задачи ...
Celery и т.п. решения про задачи сюда не подходят, т.к. процессы должны бысть постоянно запущены.
Или можно как-то просто управлять количеством процессов в RQ (Redis Queue) или Dramatiq и т.п. решениях?

Нужен именно какой-то супервайзер, который следит за процессами.
Динамически создавать контейнеры Docker (например) выглядит как-то сложновато.

Comments

[Max Payne]

multiprocessing.Process в списке/словаре чем не решение?

[Артем Советников]

Max Payne, решение, только надо будет городить огород, чтобы как минимум отслеживать живые процессы и перезапускать их.

[Артем Советников]

Pavel Denisov, а как с systemd запускать новые процессы?
Они будут подключаться и останавливатся по внешним событиям.

[Артем Советников]

Pavel Denisov, а параметры туда как передавать? Процесс с параметрами надо создавать,

[Артем Советников]

Max Payne, в общем сделал через Process(target) ...
Но морока конечно с event loop была при форке ... и отслеживание смерти процессов надо делать ещё.

Answer 1

[sim3x]

systemd

Comments

[Артем Советников]

А как запустить программно новый процесс .... ?

[sim3x]

Артем Советников, вам стоит полнее описать, что у вас за задача

[Артем Советников]

sim3x, куда полнее?
Процесс на питоне, надо запускать с параметрами (хоть командная строка, хоть параметры в python процедуру), следить чтобы не падал.