Python, много threads внутри пары processes, какие queue юзать?

Question

[skomoroh]

На много процессорной машинке нужно запускать несколько процессов ( == количеству процессоров ), в каждом процессе будет много-много потоков ( большинство в режиме ожидания ).
Как между ними задачи перекидывать, какой queue использовать, какие есть камни?

В инете примеров не нашел =(

Comments

[xandox]

Python + thread - очень плохая идея

[kazmiruk]

Да и вообще идея "много-много" потоков - плохая. Если нужно много-много потоков, то посмотрите в сторону gevent либы. Позволит Вам держать большое количество потоков (хотя там это не совсем потоки). "Как между ними задачи перекидывать" - если вы про потоки, то gevent реализует большое количество структура. В частности есть Queue.

Answer 1

[Евгений]

Посмотрите в сторону zeromq,
один мастер который распределяет таски по воркерам (равные кол-ву ядер)
только не смешивайте zmq + gevent 1.0 - оно начинает глючить.