Как получить страницу с помощью curl?

Question

[Drembler]

Необходимо получить содержимое страницы и сохранить куки:

$URL='https://.../';
$ua = 'User-Agent: Mozilla/5.0 (Windows; U; Windows NT 6.1; ru; rv:1.9.2.13) Gecko/20101203 MRA 5.7 (build 03796) Firefox/3.6.13';
$ch = curl_init($URL);
curl_setopt($ch, CURLOPT_HEADER, 1); 
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_USERAGENT, $ua);
curl_setopt($ch, CURLOPT_REFERER, $URL);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 0);
curl_setopt($ch, CURLOPT_COOKIEJAR, 'cookie.txt');
$get=curl_exec($ch);
curl_close($ch);

Выдаёт пустую строку. Думал дело в ssl, но попробовал на других доменах - всё работает. Подскажите в чём подвох?

Answer 1

[xmoonlight]

Попробуйте добавить такое:

curl_setopt ($ch, CURLOPT_FOLLOWLOCATION,1);
curl_setopt($ch, CURLOPT_TIMEOUT, 180);
curl_setopt($ch, CURLOPT_AUTOREFERER,0);
curl_setopt($ch, CURLOPT_HEADER,1);
//verify https
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);

if (is_file($_SERVER['DOCUMENT_ROOT'].'/cookie.txt'))curl_setopt($ch, CURLOPT_COOKIEFILE,$_SERVER['DOCUMENT_ROOT'].'/cookie.txt');
curl_setopt($ch, CURLOPT_COOKIEJAR, $_SERVER['DOCUMENT_ROOT'].'/cookie.txt');

И ругается он на User-Agent Ваш:
лишнее тут: "User-Agent: " - удалите!

Comments

[Drembler]

Выдаёт ошибку: Warning: curl_setopt(): CURLOPT_FOLLOWLOCATION cannot be activated when safe_mode is enabled or an open_basedir is set

[IceJOKER]

Drembler: выключите safe_mode , либо уберите followlocation , в ошибке же все написано!

[xmoonlight]

Drembler: закоментите и проверьте без него.

[Drembler]

Без него то же, что и изначально - пустая строка. Попробовал отключить safe_mode - только ошибка пропала, а так без изменений.

[Drembler]

Кстати, file_get_contents с этим сайтом работает нормально, только вот через него заголовки ни получить, ни отправить.

[xmoonlight]

Drembler: подключитесь через прокси и/или смените user-agent на другой: чудес - не бывает. реферер проверьте: скорее всего он не нужен при запросе главной страницы и т.д.

[Drembler]

Перепробовал, не получается.
Но решение нашёл, у сайта оказывается есть зеркало через него отдаёт нормально.
Спасибо за помощь.

[xmoonlight]

Drembler: затестил - причина в "User-Agent: " - надо удалить из начала переменной) На всякий случай добавил строчки с которыми тестил.
Обновил ответ.

Answer 2

[Антон Шаманов]

if (($get = curl_exec($ch)) === false) {
    echo curl_error($ch);
}