Yura_Mart
@Yura_Mart

Как спарсить категории и подкатегории с сайта?

Есть сайт https://automig.ru
Из раздела "поиск автозапчасти" нужно спарсить всё что есть в марке "ВАЗ", "ГАЗ", "УАЗ"
Т.е. по нажатию на марку ВАЗ, выдаёт все модели, по нажатию на модель, выдаёт все автомобили.
Нужно всё это вытащить. Поиск тут реализован с помощью js.
Как такое можно сделать и в каком виде сохранить всю информацию?
  • Вопрос задан
  • 491 просмотр
Решения вопроса 1
@Yan-s
Парсинг начинается с анализа сайта, сбора информации. Смотрим как работает поиск, пагинация, каталог, какая структура урлов и тд. Если используется js, анализируем запросы в инспекторе браузера.

Составляем план парсинга, пишем скрипт.

Часто процесс упрощают (при наличии) api, RSS лента, карта сайта, или подобный структурированный сервис агрегации (самого сайта).

Например в данном случае у сайта есть карта для поисковиков https://automig.ru/sitemap1.xml и https://automig.ru/sitemap2.xml

Так как урлы строятся по определенной схеме и интерсуют только страницы с /vaz/ не составит труда отфильтровать список урлов в карте оставив только те, что ведут на нужные страницы.

Остается их обойти и взять нужные данные.
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы