Как заставить multiprocessing работать?

Question

[Аля]

Задача: сделать 3 процесса (независимых), которые обращаются к одной функции с разными аргументами
Я сделала это с помощью threading, но потом поняла, что он использует только 1 ядро и процессы выполняются последовательно. Мне же нужно чтобы работало несколько ядер.
Я попробовала сделать так:

Phrase1 = Process(target = Noun_Phrase, name = 'pr_1', args = ('./wiki/wikido1.txt', './wiki/file_1.txt'))
Phrase2 = Process(target = Noun_Phrase, name = 'pr_2',args = ('./wiki/wikiot1do2.txt', './wiki/file_2.txt'))
Phrase3 = Process(target = Noun_Phrase, name = 'pr_3',args = ('./wiki/wikiot2.txt', './wiki/file_3.txt'))
Phrase1.start()
Phrase2.start()
Phrase3.start()
Phrase1.join()
Phrase2.join()
Phrase3.join()

но при выполнении запускается либо 1 процесс, либо вообще ошибка (каждый раз разные процессы запускаются) и я не могу понять в чем моя ошибка и как её исправить
помогите :с

Answer 1

[Сергей Горностаев]

import multiprocessing as mp

data = [
    ('./wiki/wikido1.txt', './wiki/file_1.txt'),
    ('./wiki/wikiot1do2.txt', './wiki/file_2.txt'),
    ('./wiki/wikiot2.txt', './wiki/file_3.txt'),
]

with mp.Pool(mp.cpu_count()) as pool:
    pool.starmap(Noun_Phrase, data)

Comments

[Аля]

Когда пытаюсь сделать через multiprocessing, jupyter ругается на кодировку (is not UTF-8 encoded)
Хотя когда использую threading на тех же файлах никаких ошибок не возникает
Не знаете в чем может быть проблема?
Перепроверила кодировку файла она точно UTF-8

Answer 2

[Михаил Трайнин]

Вот тут есть хорошая статья по мульти-поточности в Python.

Дополню своим примером, только что протестировал.

spoiler

import multiprocessing
import os

def worker():
    #worker function
    print ('Worker')
    x = 0
    while x < 1000:
        print(x)
        x += 1
    return

if __name__ == '__main__':
    jobs = []
    for i in range(int(os.environ["NUMBER_OF_PROCESSORS"])):
        p = multiprocessing.Process(target=worker)
        jobs.append(p)
        p.start()

С помощью модуля os узнаем кол-во процессов, и говорим программе работать с их кол-вом.

Comments

[Аля]

Там же как раз про threading?

[Михаил Трайнин]

Аня, Дополнил ответ своим примером

Answer 3

[Roman K]

Не надо трогать мультипроцессинг без острой необходимости. Используй ProcessPoolExecutor и asyncio (loop.run_in_executor)

Comments

[Аля]

А производительность будет той же? Или как с threading?

[Roman K]

Аня, производительность будет такой же или немного лучше, чем с mp. Зависит от версии питона.

[Аля]

а я могу оставить вот так? или все таки стоит добавить asyncio?

data = [
    ('./wiki/wikido1.txt', './wiki/file_1.txt'),
    ('./wiki/wikiot1do2.txt', './wiki/file_2.txt'),
    ('./wiki/wikiot2.txt', './wiki/file_3.txt'),
]

with concurrent.futures.ThreadPoolExecutor() as executor:
    res = executor.map(Noun_Phrase, data)

не совсем понимаю как это все реализовать

[Roman K]

Аня, Например, как-то так

import asyncio
from time import time, sleep
from concurrent.futures import ProcessPoolExecutor


def some_blocking_task(x, y, z):
    sleep(1)
    return x + y + z


async def with_async(loop):
    with ProcessPoolExecutor() as pool:
        promises = [loop.run_in_executor(pool, some_blocking_task, 1, 2, 3) for _ in range(40)]
        return await asyncio.gather(*promises)


if __name__ == "__main__":
    loop = asyncio.get_event_loop()
    start = time()
    loop.run_until_complete(with_async(loop))
    print("async:", time() - start)