Как решить проблему создания-закрытия процессов?

Question

[Lan_Vanten]

Есть

код

from multiprocessing import Pool

def execute(album):
   pool = Pool(processes=8)
   result = pool.map(execute_the_photo, album)
   pool.close()
   pool.join()
   *save to file*

for album in albums:
   execute(album)

Выходит что каждый раз при прогоне первого aka главного цикла процессы создаются и закрываются.
Времени на создание уходит слишком много.

Какие есть варианты, при которых процессы один раз создаются в самом начале обработки, затем обсчитывают данные постоянно, и уже под конец работ, закрываются?

Comments

[javedimka]

Конечно есть

[Lan_Vanten]

javedimka, Подробности?

Answer 1

[Roman K]

Гугл: "ProcessPoolExecutor python"

Создаёшь пул в начале работы и дело в шляпе

Answer 2

[Владимир Коротенко]

Попробуйте prefork
www.michurin.net/servers/prefork-server.html

В общем то есть несколько вариантов для сервера

1 поток
2 fork (то что у вас)
3 prefork (создается поток до использования, возможно динамическое управление количеством процессов)
4 thred
5 async