Как парсить динамические сайты типа dns-shop?

Question

[Артем]

Решил спарсить сайт ДНС, но возникла трудность. Страница с содержимым обновляется динамически. А именно, если мы перейдем по ссылке Смартфоны ДНС, то увидим полный список смартов, а если попытаемся выполнить

headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'}
r = requests.get("https://www.dns-shop.ru/catalog/17a8a01d16404e77/smartfony/", headers = headers)

, то вернутся только скрипты JS.
Опытным путем был выявлен запрос AJAX, на который рендарится страница с нормальным списком смартвфонов -

url = 'https://www.dns-shop.ru/ajax-state/product-buy/?cityId=15&langId=ru&v=2'

, но, проблема в том, что нужно сделать POST запрос, но при попытке его сделать, я всегда получаю ошибку 400, 403. Знаю, что ошибка состоит в не распознанности запроса и подобном. Но я не знаю, как передать нормальный csrf токен. Вероятно в нем дело. Прошу помощи.

Comments

[Артем]

И да, ребят, селениум не рассматриваю вообще. С селеном любой сможет...

[AVKor]

Странница

странница

[Артем]

AVKor, Ох, Вы "так помогли"

[Алан Гибизов]

См.п.3.1, 3.4, 3.6

[Ичи Ня]

Некоторые сайты можно парсить через scrapy_splash. Да ДНС не получиться парсить через него, но некоторые сайты на JS он может спарсить

Answer 1

[Ичи Ня]

У ДНС хорошая защита от парсинга. При чем некоторые json ответы на запросы можно получить только через браузер.

Для начала можно составить список всех товаров. Ссылки на товары можно взять из карты сайта https://www.dns-shop.ru/sitemap.xml

Там вроде получается около 600к ссылок. Смартфоны потом ищутся банально по слову smartphone в ссылке

Далее через селениум парсятся сами страницы.

По идее можно парсить только данные от микроразметки, например,
https://www.dns-shop.ru/product/microdata/d5635852...
Тут есть данные бренда, названия, цены, рейтинга. Проблема только получения этих uuid товаров

И да, сразу предупреждаю, скрипты ДНС отслеживают роботов. И если что, сразу банят ip адреса (возможно даже подсеть). Так что много запросов с одного ip делать нельзя.

Comments

[Артем]

Спасибо за ответ, уже разобрался ) Нужно было более тщательно проанализировать запросы к сайту, которые делаются из браузера... Все парсится без проблем и без всяких Selenium )

[KolenBG]

Артем, доброго времени суток не подскажите как у вас это получилось, Selenium тоже не рассматриваю

[aleksandrkomyagin]

Артем, тоже интересно, расскажите если не трудно

[Артем]

KolenBG, aleksandrkomyagin, Привет. Можете написать мне в тг a_berk

[Артем]

Вообще, я выложил пример парсера видеокарт на GitHub

[evgeny_arh]

Артем, а, кстати, с какой скоростью парсится?