Почему python скрипт блокируется/зависает при установки события (Event) в true для multiprocessing?

Question

[Руслан]

Начал было переписывать парсер с многопоточности в мультипроцессорность, споткнулся.

Код должен изящно останавливаться по команде sigterm, но он этого не делает, если Event класс берется из multiprocessing

В консоль печатается "Stop command was arrived" и при этом скрипт не завершается. Вот порезанный но демонстрирующий это кусок говнокода

import signal
import multiprocessing

class MainProcess(object):

    def __init__(self):
        signal.signal(signal.SIGTERM, self.stop)
        signal.signal(signal.SIGINT, self.stop)
        self._event_stop = multiprocessing.Event()

    def start(self):
        print("Parser started")
        self._event_stop.wait()
        print("Parser stopped")
        exit(0)

    def stop(self, signum, frame):
        if not self._event_stop.is_set():
            print("Stop command was arrived")
            self._event_stop.set()

if __name__ == "__main__":
    MainProcess().start()

Заменив multiprocessing на threading все работает так как и предполагалось, появляется принт
Stop command was arrived
Parser stopped

import signal
import threading

class MainProcess(object):

    def __init__(self):
        signal.signal(signal.SIGTERM, self.stop)
        signal.signal(signal.SIGINT, self.stop)
        self._event_stop = threading.Event()

    def start(self):
        print("Parser started")
        self._event_stop.wait()
        print("Parser stopped")
        exit(0)

    def stop(self, signum, frame):
        if not self._event_stop.is_set():
            print("Stop command was arrived")
            self._event_stop.set()

if __name__ == "__main__":
    MainProcess().start()

Что не так то?

Comments

[Vindicar]

class multiprocessing.Event

A clone of threading.Event.

И впрямь интересно. Под виндой один и тот же примитив можно использовать для синхронизации как внутри, так и вне процесса.

[Алан Гибизов]

Вот так работает:

import signal
import multiprocessing
from time import sleep, process_time


class MainProcess(object):

    def __init__(self):
        signal.signal(signal.SIGTERM, self.stop)
        signal.signal(signal.SIGINT, self.stop)
        self._event_stop = multiprocessing.Event()

    def start(self):
        print("Parser started")
        while not self._event_stop.is_set():
            print(process_time())
            sleep(1)
        print("Parser stopped")
        exit(0)

    def stop(self, signum, frame):
        if not self._event_stop.is_set():
            print("Stop command was arrived")
            self._event_stop.set()


if __name__ == "__main__":
    MainProcess().start()

но объяснить почему работает - не могу. Догадываюсь, что с wait тот процесс просто зависал, а так он вроде как тикает и когда надо - while отлавливает, что установился флаг и перестает тикать и умирает.

[Руслан]

Алан Гибизов, все верно, wait почему то блокирует работу скрипта. С while вариант рассматривал, но не очень нравится использование sleep, он блокирует процесс на это время... Хочется по феншую, но видимо не выйдет...

[Алан Гибизов]

Руслан, sleep тут лишь как паразитная нагрузка для примера, там надо полезную нагрузку. Иначе вообще смысл во всём этом?