Как парсить страницы с переадресацией?

Question

[OwerFan]

Здравствуйте! Скажите, пожалуйста, как парсить страницы с переадресацией?

Comments

[Дмитрий]

Через курл с детективой для следовать за переадресациями

[OwerFan]

Дмитрий, Будьте добры напишите кусочек кода, в качестве примера, для начинающего программиста, пожалуйста

[Дмитрий]

OwerFan,

$curl = curl_init('http://example.org/someredirect');
curl_setopt($curl, CURLOPT_FOLLOWLOCATION, true);
$data = curl_exec($curl);
curl_close($curl);

[OwerFan]

Дмитрий, Прописал, но получить объект странциы не получилось. Что не так?

$curl_handle = curl_init();
    curl_setopt($curl_handle, CURLOPT_URL, $link);
    curl_setopt($curl, CURLOPT_FOLLOWLOCATION, true);
    curl_setopt($curl_handle, CURLOPT_CONNECTTIMEOUT, 2);
    curl_setopt($curl_handle, CURLOPT_HEADER, 0);  // Отображать в ответе заголовки
    curl_setopt($curl_handle, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($curl_handle, CURLOPT_USERAGENT, 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_2) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.45 Safari/535.19');
    curl_setopt($curl_handle, CURLOPT_HTTPHEADER, array("Content-Type: application/x-www-form-urlencoded"));
    curl_setopt($curl_handle, CURLINFO_HEADER_OUT, true);

    curl_setopt($curl_handle, CURLOPT_RETURNTRANSFER, 1);


    curl_setopt($curl_handle, CURLOPT_CONNECTTIMEOUT, 0);

    $query = curl_exec($curl_handle);
    $info = curl_getinfo($curl_handle);
    curl_close($curl_handle);
    //$info = curl_getinfo($curl_handle);
    $html = new simple_html_dom();    
    $html->load($query);   

    return [$html, $info];

[Дмитрий]

OwerFan, ссылка с https?

[OwerFan]

Дмитрий, Да ссылка с https

[Дмитрий]

OwerFan,

curl_setopt($curl_handle, CURLOPT_SSL_VERIFYHOST, false);
curl_setopt($curl_handle, CURLOPT_SSL_VERIFYPEER, false);

[OwerFan]

Дмитрий, Может быть еще причина по которой не может работать?

[Дмитрий]

OwerFan,

curl_setopt($curl_handle, CURLOPT_REFERER, $url);
curl_setopt($curl_handle, CURLOPT_RETURNTRANSFER, true);
curl_setopt($curl_handle, CURLOPT_ENCODING, 'utf-8');
curl_setopt($curl_handle, CURLOPT_AUTOREFERER, true);
curl_setopt($curl_handle, CURLOPT_COOKIEFILE, dirname(__FILE__).'/cookie.txt');
curl_setopt($curl_handle, CURLOPT_COOKIEJAR, dirname(__FILE__).'/cookie.txt');

Если и так нет, то уже надо снифить через арбузер, смотреть что на каждом редиректе происходит

[OwerFan]

Дмитрий, Уф. Ну и гемор. А Content-Type влияет? Content-Type: application/x-www-form-urlencoded" а тип документа text/html. И вы бы можете сказать, с чего начать снифить?Как это делать?

[Дмитрий]

OwerFan, ну я давно как то делал, был какой то плагин для лисы, заходишь на сайт, открываешь, и там все по полкам, заголовки тела куки и прочее
http sniffer как то так

[OwerFan]

Дмитрий, Не думал, что столько проблем возникнет из-за этой переадресацией. А все было так спокойной...

[Дмитрий]

OwerFan, бывает так, ставятся куки, потом редирект, проверка куки. А кука может ставиться из js. Я как то поймал такой прикол, но куки я забрал через сниф, и подкинул в файл кук coockie.txt

[OwerFan]

Дмитрий, Ох, действительно прикол, так прикол... Забрать через сниф? У меня хром, надеюсь смогу для него найти утилиту

[Дмитрий]

OwerFan, https://chrome.google.com/webstore/detail/web-snif...
Думаю там он не один

[OwerFan]

Дмитрий, Мое уважение. Спасибо. Единственное, что вызывает недоумение, как можно забрать через сниф?

[Дмитрий]

OwerFan, ну поищите, в моем плагине был экспорт куков

[OwerFan]

Дмитрий, Ответьте, пожалуйста, как-то на вопрос и я выберу его лучшим ответом, если Вам это важно. А то в комментариях нельзя выбрать лучших ответ( А у вас лучший ответ

[Дмитрий]

OwerFan, да это не ответ, а совет или попытки. Но не ответ. Разобрались?

[Дмитрий]

OwerFan, ответ который написан вполне верный, на нем и 5 лайков
Просто у вас какой то частный случай

[OwerFan]

Дмитрий, я установил расширение и увидел...запросы, ответы. То что нужно имеет тип sub_frame. Можете подсказать и что это значит? Скажите, пожалуйста, можно ли с Вами связаться другим способом.(например Telegram)?

[Дмитрий]

OwerFan, скорее всего это какие то типы сайта, надо сайт смотреть, можете на мыло писать

[OwerFan]

Дмитрий, [e-mail]?

[Дмитрий]

OwerFan, [e-mail] думал вы найдёте через профиль ссылку на гитхаб

Answer 1

[nokimaro]

Curl
CURLOPT_FOLLOWLOCATION
https://www.php.net/manual/ru/function.curl-setopt.php

Guzzle
allow_redirects
https://docs.guzzlephp.org/en/stable/request-optio...

file_get_contents()
follow_location
https://www.php.net/manual/en/context.http.php