Как обойти блокировку Cloudflare?

Question

[heyyolicket]

Делаю запросы на сайт (с помощью requests), но они блокируются через Cloudflare. Почитал про cloudscraper, но он тоже не помогает. Что делать?

import cloudscraper
scraper = cloudscraper.create_scraper()
print(scraper.get('https://magiceden.io'))     # <Response [403]>

Comments

[shurshur]

Cloudflare довольно активно улучшает методы борьбы с такими вот готовыми механизмами, так что любой метод может сломаться в любой момент.

Answer 1

[Andrey]

все можно так или иначе подделать или сымитировать но requests не поддерживает javascript и на этом летять все парсеры

если это единичный сервис доступ к которому вам нужен то есть вариант например с selenium
да медленно, да глючно но опять же при правильной постановке вопроса должную автоматизацию вы получите.

если процесс парсинга где-то в середине и есть какие-то клиентские онлайн морды к этому делу то смотрите с торону деанона сервера. механизмы есть но многое зависит от кривизны рук владельцев. например можно деанонить по зеркалам, sub доменам, почтовым headers, на загрузке фалов по ссылке и т.д.

есть комбинированный вариант с определенной задержкой актуальной информации. например, в несколько часов а не по запросу

если таких сервисов для пирсинга много то вышеописанный комбинированный вариант возможен но в геометрической прогрессии возрастает время и повышается глючность механизма в целом

Comments

[ave_koty]

Я пытался понять, но что-то пошло не так

[Andrey]

ave_koty, бывает
что именно пошло не так ?

Answer 2

[bsbak]

Можно делать полузапросы которые не блокируются и в целом работают довольно быстро, пример работы можете посмотреть тут: https://www.youtube.com/@coderpicasso