Почему при парсинге выпадает заглушка Cloudflare?

Question

[Алекс Иванов]

Понадобилось стянуть заголовки с сайта, но вместо контента парсинг на КУРЛе получает заглушку Клары

Хотя при открытии браузером все открывается без нее.

Код курла который должен был бы открыть страницу

$url=$_GET['url'];

$ch = curl_init($url);
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.64 Safari/537.31');
curl_setopt($ch, CURLOPT_HEADER, 1);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, '1');
curl_setopt($ch, CURLOPT_AUTOREFERER, true);
curl_setopt($ch, CURLOPT_MAXREDIRS, 20);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
$text = curl_exec($ch);

Как это обойти?

Comments

[orbit070]

а что за сайт?)

[Алекс Иванов]

на скрине видно ) адалт

[sim3x]

Алекс Иванов, так клаудфлейр чистит траф не только от тупого ддоса, но и от ботов

А ваш подход в чистом виде бот

Пробуйте копировать заголовки и если не поможет, то смотрите на селениум и др хеадлесс браузеры

Если решение на 10-20 страниц, то проще из консоли браузера химичить

[Алекс Иванов]

sim3x, та не, надо постоянно подгребать новые заголовки. Т.е. парсер будет работать каждый день.
Про силениум уже в курсе, но думал может есть решение попроще. А что за хеадлесс браузеры? Чем они помогут?

[sim3x]

Алекс Иванов,
phantomjs.org

Тем что они слегка легче чем селениум, который стартует и работает с реальным браузером

[Алекс Иванов]

sim3x, спасибо, буду изучать.

[issssrt]

включите куки в курле

[Алекс Иванов]

issssrt, пробовал, не дает результата

Answer 1

[pastecopier]

Есть библиотека на python – Cloudflare-scrapper
https://github.com/Anorov/cloudflare-scrape
Прекрасно справляется с защитой Cloudflare.
Возможно что-то подобное есть и на php…

Answer 2

[Renat]

имитируй полностью браузер, сохраняй куки и передавай их при подключении

Comments

[Алекс Иванов]

куки не помогают. Их я самым первым делом пробовал подключать

[Renat]

видимо клара сечет что ты задумал что то не хорошее, попробуй через phantomjs.