Допустим у нас есть задача спарить сайт с 10 страницами, по 30 элементов на каждый странице, как это можно сделать максимально быстро? Какую библиотеку стоит для этого использовать? asyncio? thread? multiprocessing? При учете, что будет еще работа с БД, после того как элемент спарсится, я придумал небольшой алгоритм, который на мой взгляд будет самым быстрым, мы одновременно получаем все 10 страниц с сайта и одновременно парсим каждый элемент, т.е это что-то как создать два таска, один собирает элементы со страниц, а другой парсит сам элемент и уже работает с ним и добавляет его в БД и так далее, как можно это реализовать?
Нет готового ответа. Все зависит от сайта.
При большой нагрузке сайт может просто тупо начать банить ваши запросы, и тогда муки выбора быстрой многопоточной библиотеки для скачивания - окажутся меньшей из проблем.
