В каких случаях использовать мульпроцессинг/мультипоточность/asyncio?

Question

[AlexBoss]

День добрый. Никак не могу понять: в каких случаях стоит и выгоднее использовать мульпроцессинг/мультипоточность/asyncio и в чем их плюсы и минусы? И каким способом процессы и потоки обходят GIL?

Comments

[Сергей Горностаев]

Вопрос уже задавался много раз. И GIL никто не обходит.

[AlexBoss]

Сергей Горностаев, можно ссылочку пожалуйста

Answer 1

[bogolt]

Не питонист, но попробую ответить. Сам GIL живет внутри процесса, поэтому создание нескольких копий одного процесса вполне возможно. GIL разных процессов никак не будут пересекаться. Разные процессы могут обрабатывать разные данные. У разных процессов нет общей памяти ( если мы не учитываем shared-memory ). Разные процессы могут делать много полезного - парсить файлы, обрабатывать пользовательские запросы и тд.

С потоками все иначе. Так все потоки принадлежат одному процессу, и у них общая память GIL уже обойти нельзя. Но есть нюанс. Если поток выполняет некую системную функцию, в общем не связанную с самим питоном то таких функций можно выполнять одновременно любое количество. Основные примеры таких функций - чтение запись данных в файлы ( или в сокеты ). То есть можно принимать сразу множество сообщений в разных потоках, но как только мы вывалимся в питон код GIL снова вступит в силу и начнет их выполнять по очереди.

Comments

[Владимир Олохтонов]

Немного дополню про asyncio: асинхронность реализуется через кооперативную многозадачность, поток выполнения при этом один.

Ключевое слово await как раз и обозначает "отдать управление планировщику и дождаться, когда оно снова вернётся".

[AlexBoss]

если не сложно, ответьте на тупейший вопрос. Какие задачи можно назвать завязанными на ввод/вывод, а какие на вычислительные?

[bogolt]

AlexBoss, если ваш код на питоне выполняет множество вычислений ( майнит биткоины, поворачивает изображения, в общем делает что-то тяжелое это вычислительная задача.
Отвечать же на запросы по сети данными из базы можно почти без вычислений, тут сплошные блокирующие операции которые будут выполняется вне питона.
Парсинг файлов например будет легко читать сразу множество файлов но когда дойдет до собственно анализа данных тут разные потоки начнут друг друга блокировать.
В общем если у вас в коде есть нечто что работает с файлами и именно эта рабобта с файлами требует основного времени ( а сокеты это тоже файлы ) то многопоточность должна помочь.