Очистка deque и multiprocessing?

Question

[Roman Mindlin]

Вот такая простая проблема. deque.clear() в P0 нормально работает если функцию вызывать непосредственно, но не работает, если вызывать через Process.

Как очистить очередь в этом случае? (global не помогает точно)

from collections import deque
from time import sleep
from multiprocessing import Process

buffer = deque([],1200)
in_data = [range(0,441)]

def append():
    buffer.append(in_data)

def P0():
    buffer.clear()

if __name__ == '__main__':
    for _ in range(5):
        append()
        print("loop A, len after append: {}".format(len(buffer)))
        sleep(1)

    print("starting P0")
    Process(target=P0, args=()).start()

    for _ in range(5):
        append()
        print("loop B, len after append: {}".format(len(buffer)))
        sleep(1)

Answer 1

[Дмитрий]

Нужно использовать очередь из модуля multiprocessing

Comments

[Roman Mindlin]

у очереди из multiprocessing есть одно серьезное отличие - когда очередь достигает своего максимального размера, при попытке добавить в нее что либо, мы получаем исключение. А при попытке добавить что то в стандартный deque - новый элемент просто выталкивает самый старый. В принципе, конечно, можно сделать обработчик исключения, который будет забирать самый старый элемент, но у меня там довольно критичный по времени процесс (запись звука), боюсь могут быть проблемы.

[Дмитрий]

Roman Mindlin: deque из стандартной библиотеки не предназначен для взаимойдействия между процессами.

[Roman Mindlin]

Дмитрий: Да, похоже. Заменил multiprocessing на threading, все заработало. Мне не принципиально, P0 вызывается крайне редко