@Andrei1penguin1

Как скрапить динамические сайты?

Доброго времени суток, есть потребность скачивать первые 2000 фотографий по одному запросу с гугл картинок, используется фреймворк scrapy
В этом фреймворка опыта разработки у меня нет, поэтому прошу помощи:
Как скрапить динамические сайты?
Ведь на Гугл картинках грузятся лишь первые несколько десятков фото, остальные догружаются по мере прокрутки страницы
Как это обойти?
  • Вопрос задан
  • 49 просмотров
Пригласить эксперта
Ответы на вопрос 1
coderisimo
@coderisimo
1) Надо изучать, что происходит на странице когда вы прокручиваете ее. Очень возможно , что отправляются простые запросы , которые можно воспроизвести используя scrapy. Просто , изучите сожержимое консоли.
2) Есть инстурменты, которые имитируют работу обычного браузера (включая исполнение js, прокрутку страницы и прочее). Например :
-Puppeteer
-Splash
-Selenium (им можно рулить из python)
3) Процесс творческий ))))
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы