Как спарсить сайт, если он не открывается после GET запроса?

Question

[Fear1]

Здравствуйте, знатоки. Наверное даже вопрос задан некорректно - прошу меня извинить, спрашиваю в меру своих знаний.

Имеем ссылку: https://coinmarketcap.com/currencies/ripple/histor...
Если парсим эту ссылку - все хорошо, контент свободно получаю.

Имеем ссылку: https://coinmarketcap.com/currencies/ripple/histor...
Парсим ее - шеф, все пропало!
Возвращаются только заголовки:

HTTP/1.1 200 OK
Date: Sat, 09 Dec 2017 20:46:28 GMT
Content-Type: text/html; charset=utf-8
Transfer-Encoding: chunked
Connection: keep-alive
Set-Cookie: __cfduid=d8e678f8b85d743e319149482103afb421512852387; expires=Sun, 09-Dec-18 20:46:27 GMT; path=/; domain=.coinmarketcap.com; HttpOnly; Secure
CF-Cache-Status: EXPIRED
Server: cloudflare-nginx
CF-RAY: 3caad05fad0a83ee-KBP

Расскажите, пожалуйста, как спарсить вторую ссылку. Три часа поиска по гуглу не дали результатов...

Настройки cUrl следующие:

curl_setopt($ch, CURLOPT_URL, $url);
        curl_setopt($ch, CURLOPT_HEADER, 1);
        curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36");
        curl_setopt($ch, CURLOPT_REFERER, $referer);
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
        curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
        curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);

Answer 1

[Довольный Айтишникъ]

Ну, во первых что значит "все пропало"? Какие данные Вам возвращаются??
И второе, сайт защищен он ботов с помощью cloudflare и для проверки может выдать вот такое (мне по второй ссылке выдал), ваш парсер конечно такую проверку не пройдет.

Comments

[Довольный Айтишникъ]

Fear1, ну это скорее всего из-за того, что в полученных данных не найдено нужного (кстати надо бы этот момент нормально обрабатывать и выдавать вразумительное сообщение), а curl что отдает то? Подозреваю как раз страничку с каптчей

[Fear1]

Наверное так и есть - мой парсер не проходит защиту. Как быть в таком случае? Есть варианты?

[Fear1]

Вечно Голодный, после следующего кода:

$html = curl_get('https://coinmarketcap.com/currencies/ripple/historical-data/?start=20130428&end=20171209');
	$dom = str_get_html($html);
	echo "<pre>";
	print_r($html);

получаю такой ответ:

HTTP/1.1 200 OK
Date: Sat, 09 Dec 2017 20:46:28 GMT
Content-Type: text/html; charset=utf-8
Transfer-Encoding: chunked
Connection: keep-alive
Set-Cookie: __cfduid=d8e678f8b85d743e319149482103afb421512852387; expires=Sun, 09-Dec-18 20:46:27 GMT; path=/; domain=.coinmarketcap.com; HttpOnly; Secure
CF-Cache-Status: EXPIRED
Server: cloudflare-nginx
CF-RAY: 3caad05fad0a83ee-KBP

Answer 2

[Dimonchik]

что тут не получается?

https://coinmarketcap.com/api/

Comments

[Fear1]

То, что в API еще нет Historical Data, которую мне нужно парсить

[Ihor Bratukh]

Fear1, Исторические данные есть на CoinCap и на CryptoCompare