Есть ли аналоги перлового Coro в Python 3?

Question

[Rozello]

Стоит задача быстро выкачать множество файлов по http в проекте на python3.
Изначально я хотел начать использовать треды, но они чересчур прожорливы.
Вспомнил что для подобных задач отлично подходил перловый Coro ( https://metacpan.org/pod/Coro ) и задался вопросом есть ли что то подобное для Python?

Comments

[Serge K]

А что делал coro?

[Rozello]

Serge K: Coro делал переключение контекста в рамках одного процесса в местах где процесс выполнения блокировался на ожидание ответа, таким образом в момент ожидания выполнялась работа, а не остановка процесса.

Например нужно скачать данные по двум ссылкам.
Мы заключаем код скачивания в конструкцию модуля.
И запускаем выполнение.
И под капотом произойдёт следующее:
1. Отправляем запрос к серверу из первой ссылки.
2. Переходим к выполнению второго блока кода.
3. Отправляем запрос к серверу из второй ссылки.
4. Переключаемся на первый блок кода.
5. Обрабатываем ответ.
6. Переключаемся на второй блок кода.
7. Обрабатываем ответ.

Не думаю что я смог это сособо понятно описать, но надеюсь вы поняли о чём я)
По сути это способ ускорить выполнения программы за счёт выполнения полезной нагрузки вместо простоя в ожидании ответа от чего либо (сервера, жёсткого диска и т.д.).

[Serge K]

абстрактно, для любых задач celery
под текущую любая из отвеченных ниже

Answer 1

[Andrey K]

aiohttp.readthedocs.org/en/stable/client.html

Answer 2

[Alex Chistyakov]

Посмотрите на gevent (http://www.gevent.org). Мне кажется, это именно то, что Вам нужно.

Comments

[angru]

все-таки для тройки aiohttp каноничней судя по заявлениям разработчика. сам не знаю, я пользовал только gevent, в целом доволен, но настораживает магия со стеком, да и для Python 3 он еще в бете.