Где найти информацию о распараллеливании вычислений в питоне?

Question

[Андрей Гриневич]

Доброго времени суток
Хотел бы попрактиковаться в распараллеливании тяжёлых вычислений в питоне.
Посоветуйте интересный проект/хороший пример или блог, где затронута эта тема.
З.ы можно ли для этих целей использовать гринлеты?

Answer 1

[lega]

Гринлеты для сети (io), а не для вычислений.

Answer 2

[throughtheether]

Посоветуйте интересный проект/хороший пример или блог, где затронута эта тема.

IPython, MPI

З.ы можно ли для этих целей использовать гринлеты?

Можно, но не нужно. Гринлеты, насколько мне известно, более эффективны при конкурентной обработке задач, касающихся IO.

Answer 3

[Yuri Shikanov]

Для распараллеливания именно вычислений - multiprocessing, т.к. GIL.

Answer 4

[lPolar]

Тяжелые вычисления на чистом python + multiprocessing на мой взгляд не имеют смысла - будет медленно.
Варианты:
1. Theano - habrahabr.ru/post/173819
2. Пишите критичные вычисления на Cython
3. Если данных много, можно попробовать Spark через Pyspark API.