Почему код не работает асинхронно?

Question

[Александр]

Помогите разобраться asyncio.
Есть код:

import nest_asyncio
nest_asyncio.apply()
import time
import asyncio


async def f(n):
    await asyncio.sleep(1)
    for i in range(5000):    
        i**i
    return i


async def asynchronous():
    start = time.time()
    tasks = [asyncio.create_task(f(1)), asyncio.create_task(f(2)), asyncio.create_task(f(3))]
    result = await asyncio.gather(*tasks)
    print("Process took: {:.2f} seconds".format(time.time() - start))
    return result

asyncio.run(asynchronous());

Время выполнения ~4 сек. Одна секунда на слип + по одной на каждый цикл. (вместо 1-2 сек в асинхронной работе)
Почему на код не запускается асинхронно?

Answer 1

[Сергей Горностаев]

Асинхронность построена на кооперативной многозадачности, чтобы она была эффективной, надо чтобы сопрограммы отдавали управление на блокирующих вызовах. А цикл внутри f не блокируется и не отдаёт управление. Поэтому если выполнение одного прогона цикла требует секунды, то выполнение трёх прогонов будет требовать трёх секунд.

Comments

[Александр]

а разве когда я пишу "await asyncio.sleep(1)", управление не отдается?
Я понимаю, что цикл блокирует, но не понимаю почему, как перейти к следующей функции

[Сергей Горностаев]

Александр, да, отдаётся. Если бы не отдавался, общее время выполнение было бы на две секунды дольше. Чтобы увидеть разницу, попробуйте вместо одного секундного вызова sleep в начале выполнения сопрограммы тормозить на 5 миллисекунд каждую итерацию:

async def f(n):
    for i in range(500):
        await asyncio.sleep(5e-3)
        i**i
    return i

а потом тоже самое, но без отдачи управления циклу событий

async def f(n):
    for i in range(500):
        time.sleep(5e-3)
        i**i
    return i

[Александр]

Сергей Горностаев, значит sleep не влияет на это.
Что бы выполнять функцию f() "одновременно", нужны другие инструменты, asyncio не об этом?

[Сергей Горностаев]

Александр, о чём asyncio отражено прямо в его названии - Asynchronous IO, то есть асинхронный ввода-вывод. Чтобы выполнять cpu bound задачи одновременно обычно применяются потоки, но не в Python. В Python из-за GIL придётся использовать multiprocessing.

[Александр]

Сергей Горностаев, Спасибо

[Muxauko]

Возможно и поздно, а async for i in range(...) не проканает?

[Сергей Горностаев]

Muxauko, range не возвращает awaitable объект.

[Сергей Горностаев]

Сергей Горностаев, можно попробовать так

async def arange(*args, **kwargs):
    for i in range(*args, **kwargs):
        yield i


async for i in arange(5000):
    i**i

[Muxauko]

Сергей Горностаев, а если

async for item in list:
    if i == ...:
         await print(i)

Будет ли для списка к примеру работать?

[Сергей Горностаев]

Muxauko, не будет. Чтобы работал асинхронный цикл, источник должен быть асинхронным.

[Muxauko]

Сергей Горностаев,

list = [1, 2, 3]
async def func(i):
    await return i
async def main():
    async for i in list:
        await func(i)

asyncio.runrun(main())

а так?

[Сергей Горностаев]

Muxauko, ещё раз: чтобы работал асинхронный цикл, источник должен быть асинхронным. Просто попробуйте запустить ваш код и сразу же получите ошибку.

Answer 2

[Muxauko]

Тогда как же пробежаться по списку асинхронно?

Comments

[Александр]

асинхронность это про ввод и вывод, можно асинхронно сделать 100 записей в БД с тем же for, а вычислять питон будет по очереди.
Выше уже подсказали - смотреть в сторону multiprocessing, мне помогло. 8 ядер "одновременно" работают сильно быстрее