Как параллельно парсить страницы в python?

Question

[Tayrus0]

Есть Телеграм бот, написанный на aiogram, он парсит некоторые странички в интернете, логика работы такая: пользователь жмет на кнопку, бот получает список ссылок, которые надо парсить (около 20 штук), и начает парсить по одной, я хочу сделать так, чтобы бот получил список ссылок и парсил 3 и более страниц одновременно и так пока не спарсит все ссылки (запросы делаются с помощью aiohttp) как можно это реализовать?

Comments

[Влад Григорьев]

ну так и кто мешает парсить не по одной?
читайте про модуль asyncio, если уж начали использовать асинхронный код

[Tayrus0]

Влад Григорьев, Я пробовал с asyncio, но я смог сделать только так, чтобы он парсил все 20 страниц одновременно, а мне нужно чтобы он парсил 3 страницы одновременно и так пока не закончит все 20

[Влад Григорьев]

Tayrus0, если пробовали то надо приводить код, ну и мало пробовали раз не дошли до Semaphore

import asyncio
from datetime import datetime


async def async_print():
    print(datetime.now())
    await asyncio.sleep(1)


async def gather_with_concurrency(n, *tasks):
    semaphore = asyncio.Semaphore(n)

    async def sem_task(task):
        async with semaphore:
            return await task

    return await asyncio.gather(*(sem_task(task) for task in tasks))


if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    loop.run_until_complete(
        gather_with_concurrency(3, *(async_print() for _ in range(20)))
    )

[Tayrus0]

Влад Григорьев, Спасибо за код, это похоже на то, что мне надо, попробую прикрутить его в бота :)

Answer 1

[Yupiter7575]

Клик