Многопоточность в python?

Question

[Юлия Коваленко]

У меня есть такая задача:
Необходимо делать запросы к серверу на разные url параллельно.
То есть:

Поток 1:

while 1:
    resp = requests.get("http://site.ru/path1")

Поток 2:

while 1:
    resp = requests.get("http://site.ru/path2")

....

Ссылок разных около 25. Как это лучше всего реализовать? asyncio?

Answer 1

[Юлия Коваленко]

import asyncio
import requests
from mysql import MySql
import concurrent.futures

def get_data(id):
    mysql = MySql()

    while True:
        resp = requests.get("http://site.ru/path?id=" + id)
        mysql.insert_data(resp)

    return 1


async def main():
    with concurrent.futures.ThreadPoolExecutor(max_workers=20) as executor:
        ids = [1,2,3,4,5, ... , N];

        loop = asyncio.get_event_loop()
        futures = [
            loop.run_in_executor(
                executor, 
                get_data, 
                id
            )
            for id in ids
        ]
        for response in await asyncio.gather(*futures):
            pass


loop = asyncio.get_event_loop()
loop.run_until_complete(main())

Comments

[lega]

requests не работает через asyncio, пример бессмысленный, нужно выкинуть либо request либо asyncio

[Юлия Коваленко]

lega: requests не работает, а вот то, что в моем классе Mysql, работает асинхронно. Так что пример имеет смысл.

Answer 2

[Roman K]

Правильно ли я сделал парсер?

Answer 3

[lega]

Для 25 ссылок можно и на потоках сделать, даже работать может быстрее если домены разные.
asyncio - это если что-то серьезней или просто охота покопаться в asyncio