Protossan
@Protossan
студент

Почему при парсинге выпадает заглушка Cloudflare?

Понадобилось стянуть заголовки с сайта, но вместо контента парсинг на КУРЛе получает заглушку Клары
5d35cfbb34d82883043800.png
Хотя при открытии браузером все открывается без нее.

Код курла который должен был бы открыть страницу
$url=$_GET['url'];

$ch = curl_init($url);
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.64 Safari/537.31');
curl_setopt($ch, CURLOPT_HEADER, 1);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, '1');
curl_setopt($ch, CURLOPT_AUTOREFERER, true);
curl_setopt($ch, CURLOPT_MAXREDIRS, 20);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
$text = curl_exec($ch);

Как это обойти?
  • Вопрос задан
  • 410 просмотров
Решения вопроса 1
@fvckdeadline
Есть библиотека на python – Cloudflare-scrapper
https://github.com/Anorov/cloudflare-scrape
Прекрасно справляется с защитой Cloudflare.
Возможно что-то подобное есть и на php…
Ответ написан
Пригласить эксперта
Ответы на вопрос 1
@RenatKZ
Типо Developer
имитируй полностью браузер, сохраняй куки и передавай их при подключении
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
27 июл. 2021, в 22:00
25000 руб./за проект
27 июл. 2021, в 21:59
1500 руб./за проект
27 июл. 2021, в 21:54
15000 руб./за проект