Как сделать асинхронным бесконечный перебор списка?

Question

[Максим Зубенко]

Имеется код. Очень простой. Есть список со значениями.
В функции main стоит конструкция с бесконечным циклом, суть которого поочерёдный перебор значений из списка. (В идеале список должен быть пополняемым разными значениями), но для примера используемое значение удаляется из начала списка и добавляется снова в конец. Тем самым образуется некая очередь.
В процессе перебора отправляется запрос на сайт через функцию get_html
Для удобства в main есть подсчёт итераций через переменную counter_

И всё это прекрасно работает, но как сделать эту конструкцию асинхронной, ума не приложу. Нигде нет примера именно такого простого подхода с перебором. Я пересмотрел кучу примеров, но так толком и не могу понять, как мне реализовать вот именно такой подход. Когда есть список или какая-то очередь c пополняемыми значениями.

Подскажите, как мой код сделать асинхронным при помощи asyncio и aiohttp?

from datetime import datetime
import requests
import asyncio
import aiohttp

LIST_ = ['Shishel','Mishel','Perdnul','Vishel',
         'Papa','Mama',"Mila",'Ramu',
         'Eniki','Beniki','Eli','Vareniki',
         'Kreks','Feks','Peks','Keks']

def get_html(data):
    url = f'http://httpbin.org/get?acc={data}'
    try:
        r = requests.get(url)
        return r.json()['args']['acc']
    except:
        return 'failed'



def main():
    accs = LIST_
    counter_ = 0
    start = datetime.now()

    while accs:
        counter_ += 1
        one = accs.pop(0)
        print (  counter_ , get_html(one) )
        accs.append( one )
        if counter_ == len(accs):
            counter_ = 0
            end = datetime.now()
            print('*' * 10, end - start, '*' * 10)
            start = end



if __name__ == '__main__':
    main()

Answer 1

[cython]

Можно вынести итерацию цикла в отдельную асинхронную функцию, которая будет работать, как фоновая задача

from datetime import datetime
import requests
import asyncio
import aiohttp

LIST_ = ['Shishel','Mishel','Perdnul','Vishel',
         'Papa','Mama',"Mila",'Ramu',
         'Eniki','Beniki','Eli','Vareniki',
         'Kreks','Feks','Peks','Keks']

accs = LIST_
counter_ = 0
start = datetime.now()


async def get_html(data):
    url = f'http://httpbin.org/get?acc={data}'
    try:
    	async with aiohttp.ClientSession() as session:
        	async with session.get(url) as r:
        		return (await r.json())['args']['acc']
    except:
        return 'failed'


async def acc():
    global counter_, accs, start
    counter_ += 1
    one = accs.pop(0)
    print(counter_, await get_html(one), len(accs))
    accs.append( one )
    if counter_ == len(accs):
        counter_ = 0
        end = datetime.now()
        print('*' * 10, end - start, '*' * 10)
        start = end


async def main():
    tasks = []
    while accs:
        for _ in range(10):  # Ограничение на 10 задач, которые выполняются одновременно
            tasks.append(asyncio.get_event_loop().create_task(acc()))
        await asyncio.wait(tasks)  # Ожидание выполнения всех задач


if __name__ == '__main__':
    asyncio.get_event_loop().run_until_complete(main())

Comments

[Максим Зубенко]

Огромное спасибо. Именно то, что мне нужно. Вот такой кусочек кода мне объяснил гораздо больше о работе асинхронности, чем все руководства и видеоуроки вместе взятые.

[javedimka]

Максим Зубенко, и чего же он тебе объяснил? Как написать код? Потратил бы чуть-чуть времени, да уяснил суть асинхронности, вот это бы тебе точно объяснило гораздо больше о работе ЛЮБОГО асинхронного фреймворка и не только в питоне

[Максим Зубенко]

javedimka, я на асинхронность потратил наверное часов 40 своей жизни.
Ну не понятно мне и хоть ты тресни. Даже вот эти видео-уроки https://www.youtube.com/watch?v=ZGfv_yRLBiY&list=P... (Олег Молчанов) я пересмотрел наверное раз 5.
Ну не понимаю я как это работает и хоть ты тресни. Вот пока смотрю видео, ну всё понятно. Проходит день и я уже не понимаю как работает эта асинхронность. Откуда что берётся. А уж сколько я текстовых вариантов пересмотрел, так даже и не счесть. Просто есть такие темы, которые не понятно как они работают. Это как с ООП в питоне. Все про него пишут, рассказывают. А как начинаешь просить пример, так все почему-то ограничиваются процедурным подходом и кроме Джанги нигде и не применяют. Я по факту ООП использовал только в двух вариантах. Если это Django или если это GUI на PySide2 (PyQT). Во всех остальных случаях (в том числе уроках и руководствах) все пишут на def без классов.
Тоже самое и здесь. Ну не ясно мне было что откуда берётся. А тут человек написал код и мне этого хватило, чтобы сделать мнопоточный асинхронный регистратор.

[javedimka]

Максим Зубенко, А ну раз 40, то да, это конечно, много (нет)

А тут человек написал код и мне этого хватило, чтобы сделать мнопоточный асинхронный регистратор.

Только вот в asyncio тредов нет (есть, но не в твоем случае)
И как тебе это добавило ясности в то, откуда и что берётся?

Вместо видяшек, можешь посмотреть что такое Reactor pattern, Selectors, и то, как был сделан async до python 3.6. А так же фреймворки twisted/tornado.
И, конечно же, вот это:
https://www.cosc.canterbury.ac.nz/greg.ewing/pytho...
Одна из статей, что вдохновила создание asyncio.

Если тебе это, конечно, надо. А не разовое баловство.

[Максим Зубенко]

javedimka, я не знаю английский язык, я могу посмотреть только видео, а почитать на русском