Библиотека threading — обратная совместимость?

Question

[Дмитрий]

Я правильно понимаю, что наличие threading в стандартной библиотеке - это просто обратная совместимость?
Ведь для I/O bound существует asyncio.

Answer 1

[Сергей Горностаев]

Неправильно. Как минимум файловые операции операции асинхронить не выйдет.

Comments

[qlkvg]

На самом деле выйдет, но с порядочным количеством ограничений - https://pypi.org/project/aiofile/

[Сергей Горностаев]

qlkvg, это не кросс-платформенная реализация, на Windows используются всё те же потоки.

[qlkvg]

Поэтому я про ограничения и написал :) мак тоже в пролете

Answer 2

[Vindicar]

Как будешь параллелить выполнение CPU-bound задач?

Comments

[Дмитрий]

Если что-то нативное, то multiprocessing вполне подойдет

[Vindicar]

Иван Волков, да, примитивные типы данных и базовые коллекции можно прокинуть в процессы. Но когда речь заходит о чём-то нетипичном вроде numpy-массивов, дело усложняется.
Кроме того, не все блокирующие IO-bound задачи можно переписать на асинхронщину. Иногда имеешь дело с ситуацией, когда есть только синхронная библиотека. Например, графический интерфейс + IO-bound задача.
В таких случаях кроме потоков, вариантов остаётся немного - GUI обычно синхронный, а проброс данных через процесс не всегда удобен.

[Дмитрий]

Не очень понял в чем будет заключаться проблема с numpy-массивами. Ведь в контексте питона из стандартной библиотеки для работы с CPU bound подходит только multiprocessing.

[Vindicar]

Иван Волков, я писал программу, которая распараллеливает вычисления через мультипроцессинг. Numpy-массивы multiprocessing не умеет сериализовать для передачи, приходится конвертировать в списки и обратно. Выигрыш всё ещё есть, впрочем.

В общем, если коротко: мультипроцессинг имеет солидный оверхед и ряд ограничений. Для реально тяжелых CPU-bound задач он имеет смысл, но если нужно просто отпараллелить небольшой кусок кода с минимальными правками - потоки в разы проще.

[Дмитрий]

Vindicar, спасибо за пояснение