Как использовать многопоточность в Python при долгих http запросах?

Question

[kkolorid]

Доброго времени суток. Реализую программу, в которой цикл проходится по массиву, выполняет определенные действия с данными, отправляет http запрос на сторонний api - принимает ответ, а затем записывает новый элемент в другой массив (условно).

Проблема в том, что http запрос занимает достаточно много времени на фоне большого объёма обрабатываемых данных - ощутимо, скрипт работает в несколько раз дольше, чем если бы я не тратил время на эти запросы. Соответственно, ресурсы в это время простаивают. Почитал о том, что многопоточность в Python немного не такая и не даст прироста (если только её специально не сломать как-то) и применяется только в случаях, когда ресурсы, действительно, стоят без дела. Итак, вопрос:

Как можно реализовать такую фичу? Что бы скрипт в итерации цикла доходил до места, где отправляется запрос и не ожидая ответа, шёл дальше по циклу. Точнее, ожидая, но в фоне. Что бы результат, как бы "догонял" цикл.

Желательно примеры кода условного или хотя бы в какую сторону думать, как организовать это всё... Спасибо.

Answer 1

[Дмитрий Шицков]

Копать в сторону asyncio и/или aiohttp.

Comments

[kkolorid]

Читаю, вот, но пока не могу найти конкретного примера, что бы попробовать разобрать и модернизировать под мои нужды...

import aiohttp
import asyncio

async def fetch(session, url):
    async with session.get(url) as response:
        return await response.text()

async def main():
    urls = [
            'http://python.org',
            'https://google.com',
            'http://yifei.me'
        ]
    tasks = []
    async with aiohttp.ClientSession() as session:
        for url in urls:
            tasks.append(fetch(session, url))
        htmls = await asyncio.gather(*tasks)
        for html in htmls:
            print(html[:100])

if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    loop.run_until_complete(main())

Вот что-то похожее, но не пойму, что тут к чему и как к моему коду применить...

Будет ли вообще работать, если я буду слать на одни и те же API? Их сервер не запутается в запросах от одного клиента?

[Дмитрий Шицков]

kkolorid, будет работать. И из того что я понял из вашего вопроса, делает код ровно то что нужно - отправляет запросы на массив URL и ждёт ответа от всех, обрабатывая ответы в fetch.

[kkolorid]

Дмитрий Шицков, не могли бы код тогда прокомментировать? Вообще не могу понять, что там происходит... Хотя это не первый мой ЯП. Почему-то ответ печатается только с сайта yifei.me

import time
import urllib.request
import asyncio
import aiohttp

URL = 'https://api.github.com/events'
MAX_CLIENTS = 3

async def fetch_async(pid):
    print('Fetch async process {} started'.format(pid))
    start = time.time()
    response = await aiohttp.request('GET', URL)
    datetime = response.headers.get('Date')

    print('Process {}: {}, took: {:.2f} seconds'.format(
        pid, datetime, time.time() - start))

    response.close()
    return datetime

async def asynchronous():
    start = time.time()
    tasks = [asyncio.ensure_future(
        fetch_async(i)) for i in range(1, MAX_CLIENTS + 1)]
    await asyncio.wait(tasks)
    print("Process took: {:.2f} seconds".format(time.time() - start))

print('Asynchronous:')
ioloop = asyncio.get_event_loop()
ioloop.run_until_complete(asynchronous())
ioloop.close()

Вот ещё более понятный мне пример, но почему-то с await aiohttp.request('GET', URL) свой запрос через стандартные решения Питона сделать не получается.