Как спарсить категории и подкатегории с сайта?

Question

[Yura_Mart]

Есть сайт https://automig.ru
Из раздела "поиск автозапчасти" нужно спарсить всё что есть в марке "ВАЗ", "ГАЗ", "УАЗ"
Т.е. по нажатию на марку ВАЗ, выдаёт все модели, по нажатию на модель, выдаёт все автомобили.
Нужно всё это вытащить. Поиск тут реализован с помощью js.
Как такое можно сделать и в каком виде сохранить всю информацию?

Comments

[Dmitry Bay]

Взять и спарсить.

Answer 1

[Yan-s]

Парсинг начинается с анализа сайта, сбора информации. Смотрим как работает поиск, пагинация, каталог, какая структура урлов и тд. Если используется js, анализируем запросы в инспекторе браузера.

Составляем план парсинга, пишем скрипт.

Часто процесс упрощают (при наличии) api, RSS лента, карта сайта, или подобный структурированный сервис агрегации (самого сайта).

Например в данном случае у сайта есть карта для поисковиков https://automig.ru/sitemap1.xml и https://automig.ru/sitemap2.xml

Так как урлы строятся по определенной схеме и интерсуют только страницы с /vaz/ не составит труда отфильтровать список урлов в карте оставив только те, что ведут на нужные страницы.

Остается их обойти и взять нужные данные.

Comments

[Yura_Mart]

спасибо вам, буду пробовать.