Как при парсинге товаров выбрать нужный город на сайте?

Question

[Дмитрий Гусев]

Добрый день! Подскажите пожалуйста, есть сайт https://www.planeta-sirius.ru/. На нем имеется возможность выбрать город и для каждого города свои цены. Мне нужно спарсить цены для определенного города, парсер на php использую сURL.
Как в cURL передать запрос на изменение города?

Answer 1

[DENIS Kokorev]

Когда меняешь город в форме на сервер уходит запрос типа:
https://www.planeta-sirius.ru/udata/users/saveUser... (например Всеволжск)
Возможно в этот момент город сохранятся в сесси или БД на сервере.
Потом тупо страница рефрешится. И уже на сервере получаются данные для этой сессии (юзера)
И последующие запросы сопоставляются уже на сервере с городом.

Поставь в хроме, Preserve Log на вкладке network. Поменяй город в форме. Увидишь этот get на сервер.

Answer 2

[Дмитрий Гусев]

Добрый день! Как раз копал в эту сторону, спасибо большое - запрос на Москву получил. Как теперь это встроить в curl?. Моя функция

function curlGetPage($url, $referer = 'https://www.planeta-sirius.ru/')
{

    $ch = curl_init();

    curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.164 YaBrowser/21.6.4.787 Yowser/2.5 Safari/537.36');
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
    curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, 0);
    curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 0);
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_REFERER, $referer);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);

    $response = curl_exec($ch);
    curl_close($ch);
    return $response;

}

Comments

[DENIS Kokorev]

Ну вот первым запросом поставил город Инта:

https://www.planeta-sirius.ru/udata/users/saveUserCity/.json?city=275371

В ответе пришла кука PHPSESSID=4964fd8980917d6f9458be1f229a84c7

И ко всем последующим запросам к каталогу (типа https://www.planeta-sirius.ru/katalog/specodezhda/...) в хедер добавляешь эту куку. Он в ответ по Инте будет отдавать содержимое.

curl --location --request GET 'https://www.planeta-sirius.ru/katalog/specodezhda/rabochaya-zimnyaya/' \
--header 'Cookie:  PHPSESSID=4964fd8980917d6f9458be1f229a84c7;

Как то так.