@Alena_Y

Как спарсить динамический контент силами scrapy?

Здравствуйте, возникла необходимость скрапинга google images, использую scrapy, но не могу понять, как прокручивать страницу для скачивания следующих фотографий с помощью scrapy
Есть реализация на scrapy + selenium, но такая связка довольно медленная
Возможно ли сделать скролл сайта с помощью scrapy?
  • Вопрос задан
  • 41 просмотр
Пригласить эксперта
Ответы на вопрос 1
SoreMix
@SoreMix
yellow
Скролл - нет, это ведь не браузер.
Открывайте инструменты разработчика на F12, открываете вкладку Network, прокручиваете страницу, смотрите, какие запросы отправились для получения новых изображений, скорее всего они будут во вкладке XHR. И повторяете их через python
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
16 янв. 2021, в 06:41
500 руб./за проект
16 янв. 2021, в 00:06
3000 руб./за проект
15 янв. 2021, в 23:54
15000 руб./за проект