Почему процессы не завеhшаются при использовании multiprocessing?

Question

[fff ttt]

К сожалению не могу нормально прикрепить скриншоты и выводы программы, так как пишу с другого устройства.
У меня есть код :

pool = mp.Pool(8)
results = pool.map(do_something,data)

def do_something(arr):
    """В данном методе происходит проверка каждого элемента массива arr на соответствие регулярному выражению"""
    res=[]
    for elem in arr:
         if re.search(elem):
             res.append(elem)
    return res

У меня в массиве data содержится 8 массивов по 3500-4000 строк, и когда я запсукаю метод у меня отрабатывают 6 процессов из 8, а 2 продолжают висеть, почему может быть такая проблема?

Answer 1

[Vindicar]

Используй with mp.Pool(8) as pool:

Comments

[fff ttt]

такая же проблема, 8 процессов запускаются, из них 6 только заканчиваются, 2 начинают висеть, я уже не знаю что сделать, может это связано с размером массивов, которые я передаю в методы, потому что когда файл меньше он нормально эот все выполняет

[Vindicar]

fff ttt, значит, проблема не в завершении, а в выполнении.
А вообще зачем ты делишь data на 8 подмассивов?
Сделай одну сплошную коллекцию, и пусть do_something() проверяет один элемент коллекции. map() сам раскидает коллекцию по процессам.
Кроме того, я бы использовал imap(), если тебе не требуется вся коллекция ответов сразу - imap() будет отдавать элементы по мере их готовности, что уменьшит потребление памяти (а значит, ускорит программу, так как будет меньше своппинга).