Как реализовать multiprocessing?

Question

[AlexBoss]

Добрый день. Никак не получается сделать multiprocessing для различных функций с различными параметрами так, чтобы еще и возвращался ответ как в Pool.map()(без разницы в виде списка или тп.)

p = multiprocessing.Pool()
    results = p.map(lambda f: f('a'),[c1,c1])
    print(results)

В данном случае разные функции, но с одним параметром(цикл не интересует, хочу сразу все по процессам раскинуть)

Comments

[Сергей Горностаев]

Что по вашему должна сделать эта конструкция results = p.map(lambda f: f('a'),[c1,c1]) ?

[AlexBoss]

Сергей Горностаев, она возвращает returnы в виде списка c1('a) и c1('a'), я проверил

[Сергей Горностаев]

AlexBoss, c1 и c2 - это функции?

[AlexBoss]

Сергей Горностаев, да, прошу прощения, что не написал. Вот никак не могу понять, как скомпоновать это, чтобы еще туда различные параметры передавать, но не сломать multiprocessing

[Сергей Горностаев]

AlexBoss, и что происходит когда вы запускаете этот код? В result оказывается не то, что вы ожидали? Или возникает какая-то ошибка?

[AlexBoss]

Сергей Горностаев, я все верно получаю, но хочу туда различные параметры передавать

Answer 1

[Сергей Горностаев]

def c1(value):
    return value.upper()

def c2(value):
    return ord(value)

functions = [c1, c2]
values = ['a', 'b', 'c']

with multiprocessing.Pool() as p:
    results = p.map(lambda f: f(), [lambda f=f, v=v: f(v) for v in values for f in functions])
    print(results)

Comments

[Roman K]

Как это читать теперь изволите?)

[Сергей Горностаев]

Roman Kitaev, с особым цинизмом™ )

[AlexBoss]

Roman Kitaev, Сергей Горностаев, работает, все норм))

[Сергей Горностаев]

AlexBoss, конечно работает. Просто считается, что многоуровневые включения хуже читаются, чем структурированный императивный код. Но я, после многих лет увлечения Lisp'ами, этой проблемы даже не замечаю, если честно.

[AlexBoss]

Сергей Горностаев, меня не смущает тоже)

[Roman K]

Сергей Горностаев, у списковых включений и лямбд при взаимодействии получается очень стрёмный и неочевидный эффект. Так что это не только нечитаемо, но и не всегда будет работать.

[Roman K]

Сергей Горностаев, собственно, вот:

In [1]: funcs = [lambda x: x**i for i in range(100)]                                                                    

In [2]: funcs[-1]                                                                                                       
Out[2]: <function __main__.<listcomp>.<lambda>(x)>

In [3]: funcs[-1] is funcs[0]                                                                                           
Out[3]: False

In [4]: funcs[-1](5)                                                                                                    
Out[4]: 1577721810442023610823457130565572459346412870218046009540557861328125

In [5]: funcs[0](5)                                                                                                     
Out[5]: 1577721810442023610823457130565572459346412870218046009540557861328125

Да, это решается твоим способом, но выглядит ещё хуже) Особенно, учитывая то, что аргумент можно переопределить и инкапсуляция замыкания нарушается:

In [6]: funcs = [lambda x, i=i: x**i for i in range(100)]                                                               

In [7]: funcs[0](5)                                                                                                     
Out[7]: 1

In [8]: funcs[-1](5)                                                                                                    
Out[8]: 1577721810442023610823457130565572459346412870218046009540557861328125

In [9]: funcs[-1](5, 0)                                                                                                 
Out[9]: 1

[Сергей Горностаев]

Roman Kitaev, прав. Проблему с переопределением можно решить частичным применением. Была мысль functools.partial использовать сразу, но решил обойтись без дополнительных импортов.

[AlexBoss]

Roman Kitaev, так что делать будет?)

[Roman K]

AlexBoss, а?

[AlexBoss]

Roman Kitaev, если это решение так себе, какие у меня есть еще варианты?