Как получить полное тело страницы?

Question

[Thegaar]

Ребят. Учусь парсингу. Вроде бы всё понятно, но появились в ходе обучения некоторые нюансы. Допустим есть сайт (НЕ РЕКЛАМА) . По дефолту в каталоге доступно для просмотра 50 товаров, но и есть фильтр, в котором можно указать (показать все или просто "Все"). Так вот при парсинге, я получаю 50 товаров, а хотелось бы все товары. Идея curl'ом дёргать тела всех страниц уже возникала. Можно ли как-то изящнее решить данную проблему? Допустим как-то программно нажать на "Все".

Заранее спасибо!

Answer 1

[Rsa97]

Открываете сайт в браузере, запускаете средства разработки (F12), переходите в раздел "Сеть", нажимаете на странице "показать всё", в логах смотрите запрос со всеми параметрами.
P.S. Смотрите куку запроса simasettings, там фрагмент
s:16:"isInfinityScroll";i:0
меняется на
s:16:"isInfinityScroll";i:1

Comments

[Thegaar]

Rsa97: Можно подробнее? Открыл средства разработки, перешёл в Network (Chrome). Нажал "Всё", вижу что, что-то происходит но в списке не нашёл simasettings

[Rsa97]

Thegaar: Найдите в списке первый запрос к сайту, он будет к той же странице, на которой сейчас находитесь. Выделите запрос и справа выберите вкладку Cookies, смотрите подраздел Request Cookies

[Rsa97]

Thegaar: simasetting - это название куки, а не страницы

[Rsa97]

Thegaar: Правда хром показывает кривовато, заменяет символы на коды. В огнелисе выглядит лучше.

[Thegaar]

Rsa97: А как данную куку подменить?

[Stalker_RED]

Thegaar: Вы чем страницу получаете? Если curl-ом, то там есть параметр CURLOPT_COOKIE

[Thegaar]

Stalker_RED:

$arr['rowlimit'] = 500;
$arr['isInfinityScroll'] = 1;

$curl = curl_init();

curl_setopt($curl, CURLOPT_URL, 'https://www.sima-land.ru/kanctovary/ofisnaya-tehni...');
curl_setopt($curl, CURLOPT_RETURNTRANSFER,true);

curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, 0);

curl_setopt($curl, CURLOPT_COOKIE, "simasettings=".serialize($arr).";");
$out = curl_exec($curl);

[Thegaar]

Так и получаю 50 элементов. Не понимаю в чем проблема

[Rsa97]

Thegaar: А вы не мудрствуя лукаво просто возьмите строку куки прямо из браузера и подставьте её в опцию без сериализации массива.