Как добавлять данные в список при использовании multiprocessing?

Question

[motya88]

Пытаюсь разобраться в multiprocessing. По итогу выполнения скрипта необходимо увидеть список ['one', 'two', 'three', 'four', 'five', 'six', 'seven', 'eight', 'nine', 'ten']. Но у меня он пустой. Подскажите, как в данном случае нужно использовать manager?
Ниже код моего примера:

from multiprocessing import Pool

final_list = []

def get_inf(data):
    for item in data:
        final_list.append(item)
        print(final_list)

def main():
    a = [('one', 'two', 'three', 'four', 'five'), ('six', 'seven', 'eight', 'nine', 'ten')]


    with Pool(3) as p:
        p.map(get_inf, a)
    print(final_list)

if __name__ == '__main__':
    main()

Comments

[Mikkkch]

А зачем Вам делать это с помощью multiprocessing? Ведь практика этой либы должна быть другая. Притом задача какая-то странная.

[motya88]

Mikkkch, это я создал простой пример. У меня задача горазды шире. Я получаю огромный json. который надо разобрать паралельно.

[motya88]

Mikkkch, задача простая и как мне кажется пример тоже удачный. Мне нужно добавить объекты в общий список final_list из разных процессов , используя многопроцессорную обработку.

[Mikkkch]

motya88, гугл - отличная штука
https://stackoverflow.com/questions/42490368/appen...

[motya88]

Mikkkch, ты красавчик)))Нет слов. Я все эти ссылки посмотрел. Я же имеено там и прочитал про использование manager. я попросил помочь с моим примером. В этом есть сложность?

[Mikkkch]

motya88,
1. Если ты прочитал, тогда почему тебе не хватило сообразительности воспользоваться тем, что там написано? Ты передаешь глобальную переменную, а в первой строчке ответа написано, что они между потоками не обрабатываются.
2. Если нет сложности, тогда опять таки, почему тебе не хватило сообразительности самому справиться с вопросом?
3. Уважительнее бы относился к тем, кто тебе стремится помочь.

[motya88]

Mikkkch, Спасибо!! Не вижу смысла дальше продолжать беседу.

[Mikkkch]

motya88, кинул жалобу на рассмотрение:
1. Полное отсутствие уважения к тому, кто отреагировал на твой НЕКОРРЕКТНО сформулированный вопрос.
2. Отсутствие собственного стремления разобраться в проблеме(в ответе ясно написано, что с глобальными переменными процессы так не работают, ты вставляешь в вопрос фрагмент кода, в котором осознанно делаешь то, что не работает)
3. Ну и само собой легко прогуглить.

[1HAWK1]

Для работы с потоками советую использовать заготовку (брал на каком-то сайте):

import time
from threading import Thread
def sleepMe(i):

    print("Поток %i засыпает на 5 секунд.\n" % i)
    time.sleep(5)
    print("Поток %i сейчас проснулся.\n" % i)

for i in range(10):
    th = Thread(target=sleepMe, args=(i, ))
    th.start()

Answer 1

[motya88]

У меня получилось решить задачу вот так.

from multiprocessing import Pool, Manager

def init_processes(l):
    global final_list
    final_list = l


def get_inf(data):
    for item in data:
        final_list.append(item)

def main():
    manager = Manager()
    final_list = manager.list()

    a = [('one', 'two', 'three', 'four', 'five'), ('six', 'seven', 'eight', 'nine', 'ten')]
    with Pool(3, initializer=init_processes, initargs=(final_list,)) as p:
        p.map(get_inf, a)
    print(final_list)

if __name__ == '__main__':
    main()

Answer 2

[1HAWK1]

Для работы с потоками советую использовать заготовку (брал на каком-то сайте):

import time
from threading import Thread
def sleepMe(i):

    print("Поток %i засыпает на 5 секунд.\n" % i)
    time.sleep(5)
    print("Поток %i сейчас проснулся.\n" % i)

for i in range(10):
    th = Thread(target=sleepMe, args=(i, ))
    th.start()

Comments

[Сергей Горностаев]

У автора вопроса не потоки. К тому же приведённый вами код никак не отвечает на вопрос.

Answer 3

[Vindicar]

В multiprocessing есть класс Queue, используйте его.