Как асинхронно сохранить html из списка url?

Question

[Михаил Костиков]

Есть массив url нужно асинхронно сохранить html в другой массив из этих url обойдя clаudflare защиту.

Этот скрипт https://github.com/MorvanZhou/easy-scraping-tutori... устраивает но через какое то время появляется cloudflare ddos protection и часть url пропускается. Пробовал подключить модуль https://github.com/pavlodvornikov/aiocfscrape но там ошибка "name 'domain' is not defined". Есть другие решения например https://github.com/venomous/cloudscraper но они не асинхронные, не знаю как их подключить.

Comments

[Влад Григорьев]

url обойдя clаudflare защиту
но они не асинхронные, не знаю как их подключить

С таким подходом можно только удачи посоветовать или идти на фриланс.
Что бы обойти защиту, которая не плохо так развивается, нужны знания и понимание что делаешь и зачем.
А все что есть в открытом доступе рано или очень рано исправляется

Answer 1

[Михаил Костиков]

Этот https://github.com/venomous/cloudscraper подключил пишет

Detected a Cloudflare version 2 challenge, This feature is not available in the opensource (free) version.