Как спарсить вторую страницу с каталога магазина Окей?

Question

[shobique]

На сайте гипермаркета Окей есть разбиение каталога на страницы, переключение происходит с помощью аякса. Подскажите, как возможно спарсить вторую страницу и более, используя средства php. Парсер в базовом варианте забирает данные только первой страницы.
Спасибо.

Пример: тут

Comments

[Алексей Володин]

Через DevTools посмотреть куда и какой ajax выполняется.
Попробовать его сэмулировать через curl

[shobique]

Результат отправки запроса)

Answer 1

[ScriptKiddo]

В теле запроса есть параметры pageSize и beginIndex.

Формула для получения нужной страницы

pageSize = 36
beginIndex = pageSize * pageNumber

IMG

Comments

[shobique]

Результат отправки запроса)

[ScriptKiddo]

shobique, либо забанили, либо неправильно составлен запрос

[shobique]

ScriptKiddo, это первый запрос, поэтому первый вариант не подходит. Запрос — полная копия отправленного. Возможен вариант с блокировкой запросов не с домена окея?

$url = 'https://www.okeydostavka.ru/webapp/wcs/stores/servlet/ProductListingView';
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL,$url);
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS,"contentBeginIndex=0&productBeginIndex=36&beginIndex=36&orderBy=&facetId=&pageView=grid&resultType=both&orderByContent=&searchTerm=&facet=&facetLimit=&minPrice=&maxPrice=&pageSize=36&storeId=10653&catalogId=12052&langId=-20&requestType=filter&objectId=_6_-1011_3074457345618259713&requesttype=ajax");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
$server_output = curl_exec($ch);
curl_close ($ch);
print_r($server_output);

[ScriptKiddo]

shobique, кроме тела запроса там есть еще и параметры

[shobique]

ScriptKiddo, вы могли бы подсказать, о каких параметрах идёт речь?

[ScriptKiddo]

shobique, как минимум нужны storeId, catalogId, categoryId

[shobique]

ScriptKiddo, первые два переданы, третий добавил. Результат тот же.

$url = 'https://www.okeydostavka.ru/webapp/wcs/stores/servlet/ProductListingView';
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL,$url);
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS,"contentBeginIndex=0&productBeginIndex=36&beginIndex=36&orderBy=&facetId=&pageView=grid&resultType=both&orderByContent=&searchTerm=&facet=&facetLimit=&minPrice=&maxPrice=&pageSize=36&storeId=10653&catalogId=12052&langId=-20&requestType=filter&objectId=_6_-1011_3074457345618259713&requesttype=ajax&categoryId=69069");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
$server_output = curl_exec($ch);
curl_close ($ch);
print_r($server_output);

[ScriptKiddo]

shobique, эти параметры надо кодировать в URL, а не добавлять в тело запроса

[shobique]

ScriptKiddo, тот же результат(

$url = 'https://www.okeydostavka.ru/webapp/wcs/stores/servlet/ProductListingView/?categoryId=69069&storeId=10653&catalogId=12052';
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL,$url);
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS,"contentBeginIndex=0&productBeginIndex=36&beginIndex=36&orderBy=&facetId=&pageView=grid&resultType=both&orderByContent=&searchTerm=&facet=&facetLimit=&minPrice=&maxPrice=&pageSize=36&langId=-20&requestType=filter&objectId=_6_-1011_3074457345618259713&requesttype=ajax");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
$server_output = curl_exec($ch);
curl_close ($ch);
print_r($server_output);

[ScriptKiddo]

shobique, Слеш в ссылке лишний

[shobique]

ScriptKiddo, тестировал и с ним и без — результат тот же((

[ScriptKiddo]

shobique, А так?

<?php

$url = "https://www.okeydostavka.ru/webapp/wcs/stores/servlet/ProductListingView?lm=&ajaxStoreImageDir=%2Fwcsstore%2FOKMarketSAS%2F&searchType=1000&advancedSearch=&filterTerm=&storeId=10653&manufacturer=&ddkey=ProductListingView_6_-1011_3074457345618259713&sType=SimpleSearch&metaData=&catalogId=12052&searchTerm=&resultsPerPage=72&filterFacet=&resultCatEntryType=&gridPosition=&emsName=&disableProductCompare=true&langId=-20&facet=&categoryId=16556&custom_view=true";

$curl = curl_init($url);
curl_setopt($curl, CURLOPT_URL, $url);
curl_setopt($curl, CURLOPT_POST, true);
curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);

$headers = array(
   "Connection: keep-alive",
   "DNT: 1",
   "Content-Type: application/x-www-form-urlencoded",
   "X-Requested-With: XMLHttpRequest",
   "sec-ch-ua-mobile: ?0",
   "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36",
   "Accept: */*",
   "Origin: https://www.okeydostavka.ru",
   "Sec-Fetch-Site: same-origin",
   "Sec-Fetch-Mode: cors",
   "Sec-Fetch-Dest: empty",
   "Referer: https://www.okeydostavka.ru/spb/miaso-ptitsa-kolbasy/sosiski-sardel-ki",
   "Accept-Language: en-US,en;q=0.9,ru-RU;q=0.8,ru;q=0.7"
);
curl_setopt($curl, CURLOPT_HTTPHEADER, $headers);

$data = "contentBeginIndex=0&productBeginIndex=72&beginIndex=72&orderBy=&facetId=&pageView=grid&resultType=products&orderByContent=&searchTerm=&facet=&facetLimit=&minPrice=&maxPrice=&pageSize=&storeId=10653&catalogId=12052&langId=-20&scrollTo=0&objectId=_6_-1011_3074457345618259713&requesttype=ajax";

curl_setopt($curl, CURLOPT_POSTFIELDS, $data);

$resp = curl_exec($curl);
curl_close($curl);
var_dump($resp);

?>

[shobique]

ScriptKiddo, да! Супер! Всё получилось!) Успехов вам в работе и не только!)

[ScriptKiddo]

shobique, https://reqbin.com/req/php/c-kvv2ga1h/convert-curl...

CURL запросы можно копировать из Chrome