Как сделать ожидание перенаправления в requests/cloudscraper?

Question

[RD1706D]

Пишу парсер на Python для сайта который использует CloudFlare (SocialBlade), при использовании IPv6 прокси парсится только окно перенаправления на сайт (страница CloudFlare), в итоге необходимые данные не удаётся собрать, возможно ли реализовать ожидание перенаправления при помощи requests/cloudflare?

Мой код:

page = session.get(f"https://socialblade.com/facebook/page/{user}",
                       proxies=proxies,
                       )  # Открываем страницу в SocialBlade

soup = BeautifulSoup(page.text, 'html.parser')  # Загружаем исходный код страницы в BeautifulSoup

Comments

[Алан Гибизов]

Обратите внимание, как надо оформлять название вопроса, п.3.6 Регламента.

Answer 1

[soremix]

cloudflare это не просто редеректилка между клиентом и конечным сайтом. Нельзя просто подождать пока он перенаправит на нужную страницу. Во время ожидания он проводит свои бот проверки и на основании их пускает. так что искать готовый байпасс / офф апи social blade / парсить другие сайты