@Alena_Y

Как спарсить динамический контент силами scrapy?

Здравствуйте, возникла необходимость скрапинга google images, использую scrapy, но не могу понять, как прокручивать страницу для скачивания следующих фотографий с помощью scrapy
Есть реализация на scrapy + selenium, но такая связка довольно медленная
Возможно ли сделать скролл сайта с помощью scrapy?
  • Вопрос задан
  • 74 просмотра
Пригласить эксперта
Ответы на вопрос 1
SoreMix
@SoreMix Куратор тега Python
yellow
Скролл - нет, это ведь не браузер.
Открывайте инструменты разработчика на F12, открываете вкладку Network, прокручиваете страницу, смотрите, какие запросы отправились для получения новых изображений, скорее всего они будут во вкладке XHR. И повторяете их через python
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы