Как работать с многоядерными процессорами в Python?

Question

[iegor]

Собственно правильно ли я понимаю, что это вообще невозможно, так как из-за GIL в Python все потоки все равно будут делаться последовательно одним процессором? Актуально ли это для Python 3.4? Как обойти (писать код на C)?

Answer 1

[kazmiruk]

https://docs.python.org/2/library/multiprocessing.html - единственный известный мне способ утилизровать несколько ядер на питоне. GIL есть в обоих ветках питона, обойти никак (вроде, если я не ошибаюсь, написав экстеншн на С, Вы все равно будете вынуждены запускать его в тех же условиях).

Comments

[iegor]

Т.е. для использования нескольких процессоров необходимо ветвить процессы, а не потоки? Модули subprocess и threading не подходят?

[kazmiruk]

iegor: subprocess тоже позволит использовать несколько ядер процессора, но он используется для исполнения исполняемых файлов + имеет блокирующее апи (мультипроцессинг же позволяет выполнить определенную функцию, например, что куда удобней именно для целей распараллеливания). Т. е. если Вы в своем процессе вызываете сабпроцесс, то текущий процесс будет заблокирован ожиданием ответа, но в данном случае вам как раз поможет threading или какой-нибуль gevent. Вообще это довольно сложная тема. Вкратце попытаюсь объяснить: GIL не настолько портит жизнь как Вам кажется. К примеру, у вас есть задача спарсить 100 сайтов. Вы в главном потоке создаете через threading 4 потока и в каждый из них отправляете по 25 сайтов на парсинг. Управление получает первый поток - он вызывает какой-нибудь requests.get, который является блокирующей операцией. Соответственно текущий поток начинает ждать ответа. GIL в этот момент освобождает лок и другой поток начинает свое выполнение. И так повторяется для каждого потока. Получается пока происходит блокирующая операция в одном потоке, второй может работать. Естественно все это происходит только на одном ядре и не является полноценным мултитридингом, но если писать аккуратно и вдумчиво, то на блокирующих операциях даже при GIL с threading можно получить прирост производительности. Ну а вообще примите как факт, что питон не умеет утилизировать многоядерные процессы и жизнь станет проще :)

Answer 2

[Sly_tom_cat .]

from time import time
from threading import Thread
from multiprocessing import Process

def count(n):
while n > 0:
n -= 1

startTime = time()
count(100000000)
count(100000000)
print('\nSequential execution time : %3.2f s.'%(time() - startTime))

startTime = time()
t1 = Thread(target=count, args=(100000000,))
t2 = Thread(target=count, args=(100000000,))
t1.start(); t2.start()
t1.join(); t2.join()
print('\nThreaded execution time : %3.2f s.'%(time() - startTime))

startTime = time()
p1 = Process(target=count, args=(100000000,))
p2 = Process(target=count, args=(100000000,))
p1.start(); p2.start()
p1.join(); p2.join()
print('\nMultiprocessed execution time : %3.2f s.'%(time() - startTime))

Дает на 4-х ядерном проце:

Sequential execution time : 6.83 s.

Threaded execution time : 11.37 s.

Multiprocessed execution time : 6.30 s.

Но допустим распараллеливание запросов к http серверу и в thread варианте даст огромный выигрыш.
Т.е. без учета специфики задачи - в многопоточность/многопроцессорность - лучше просто не соваться.

Comments

[Александр Семенцов]

Sly_tom_cat . спасибо огромное. Реально прокатила именно ваша реализация multiprocessing. Потому что с pool-ом из официальной документации[1] и блога чела из IBM[2] не удалось добиться нормального распараллеливания:
1) либо никакого распараллеливания по факту не было;
2) либо результаты сохранялись в пределах функции;
3) либо выскакивали заглушки от питона (от отсутствия кодирования UTF-8, до исключений связанных с распараллеливанием).
Я тестил на скраппинге сайта.

[1] https://docs.python.org/3/library/multiprocessing.html
[2] https://www.ibm.com/developerworks/ru/library/l-py...

Answer 3

[Кир Марченко]

kazmiruk абсолютно прав. Пишем проект на python2, используем multiprocessing (не threading!) и все прекрасно работает.

Answer 4

[iegor]

Смотрел видео с конференции по Python. В общем: GIL действует только на питоновский код, т.е. если Python выступает лишь оберткой, а ресурсоемкие операции делаются C, то сишный код будет распределен операционной системой на разные процессоры и в итоге получается прирост производительности.

Answer 5

[MadRiw]

GIL нет в Jython и IronPython, можете копнуть в их сторону.

Answer 6

[Николай Карелин]

В целом, присоединяюсь к предыдущим ответам - из-за GIL на чистом питоне только несколько процессов. Если же будете либо писать расширения, либо использовать готовые билиотеки (например NumPy), то GIL внутри кода расширения можно отпустить.

Кстати, как правило NumPy скомпилированный с MKL загрузит на своих задачах все ядра процессора ;)

Если нужны еще советы, лучше кратко описать в чем состоит задача.

Answer 7

[ZoomLS]

Есть форк Python с поддержкой многоядерной архитектуры. Вроде даже возможно слияние с одной из будущих версий Python. Вот только название сходу вспомнить не могу. Гуглится совсем не то.

Есть ещё PyPy-STM, интерпретатора Python с поддержкой многоядерных систем:
PyPy-STM (PyPy Software Transactional Memory), в рамках которого развивается реализация языка Python, способная распараллеливать выполнение разных потоков одного многопоточного приложения на нескольких ядрах CPU. Разработка PyPy-STM направлена на устранение одной из основных проблем СPython - наличие глобальной блокировки интерпретатора (GIL, global interpreter lock), не позволяющей обеспечить параллельное выполнение нескольких нитей кода на языке Python.