Парсер уцененных товаров в dns-shop?

Question

[Firsim]

Думаю свой вопрос я озвучиваю в верном месте..
Вообщем подумал немного спарсить инфу с страницы: https://www.dns-shop.ru/catalog/markdown/
Но вышло так, что изначально есть только 20 товаров, а что бы подгрузить еще товары нужно потравить запрос на страницу

https://www.dns-shop.ru/catalogMarkdown/category/update/

, и ответом будет следующие n товаров. Вот только я ни как не соображу какой запрос нужно сформировать что бы страница дала ответ? Может кто подсказать? Спасибо.
P.S. город не важен, он то с помощью кука передается..

Answer 1

[Илья]

На каком языке пишете парсер? Если нужна стабильность результата и отсутствие дальнейших проблем при изменениях полей и защит, то можно использовать Selenium. Загружаете страницу, забираете данные, нажимаете следующую кнопку - и так по расписанию.
В противном случае воспользуйтесь советом Evgen и реализуйте считывание и передачу CSRF токена.

Comments

[Firsim]

Я на перле пишу, демоном запускаю скрипт. Тут я просто не догнал в чем их секрет передачи данных, что бы получить ответ. Не силен в парсерах. На днях попробую, спасибо.

[Илья]

Firsim, посмотрел сайт, изучил. Там всё просто. Подгрузка товаров происходит по ссылке:

https://www.dns-shop.ru/catalogMarkdown/category/update/?offset=40

где offset равен количеству пропускаемых товаров (сдвигу).
Подобрал минимальное количество заголовков, обязательных для запроса:

GET https://www.dns-shop.ru/catalogMarkdown/category/update/?offset=40 HTTP/1.1
X-Requested-With: XMLHttpRequest
User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 YaBrowser/18.6.1.770 Yowser/2.5 Safari/537.36
Host: www.dns-shop.ru

Как видно, обязательно наличие User-Arent и заголовка X-Requested-With с фиксированным значением. Формируете запрос, доставляя в offset значения начиная с 0 (первая страница) и далее по +20 (так сделано на самом сайте). Разбираете JSON и парсите значение html.
Дёрнул из интернета пример кода на Perl и переделал, как то так:

use LWP::UserAgent;
 
my $ua = LWP::UserAgent->new;
 
my $server_endpoint = "https://www.dns-shop.ru/catalogMarkdown/category/update/?offset=40";
 
# set custom HTTP request header fields
my $req = HTTP::Request->new(GET => $server_endpoint);
$req->header('X-Requested-With' => 'XMLHttpRequest');
 
my $resp = $ua->request($req);
if ($resp->is_success) {
    my $message = $resp->decoded_content;
    print "Received reply: $message\n";
}
else {
    print "HTTP GET error code: ", $resp->code, "\n";
    print "HTTP GET error message: ", $resp->message, "\n";
}

[Firsim]

Илья, Пасибище) Считай всю работу за меня сделал))
P.S. Для себя канал в телеграмм хочу сделать с быстрыми уведомлениями. Иногда там интересное проскакивает.

Answer 2

[Evgen]

https://www.dns-shop.ru/catalogMarkdown/category/u...
используя такие заголовки как X-CSRF-Token & X-Requested-With: XMLHttpRequest