Как спарсить динамический контент силами scrapy?

Question

[Alena_Y]

Здравствуйте, возникла необходимость скрапинга google images, использую scrapy, но не могу понять, как прокручивать страницу для скачивания следующих фотографий с помощью scrapy
Есть реализация на scrapy + selenium, но такая связка довольно медленная
Возможно ли сделать скролл сайта с помощью scrapy?

Answer 1

[soremix]

Скролл - нет, это ведь не браузер.
Открывайте инструменты разработчика на F12, открываете вкладку Network, прокручиваете страницу, смотрите, какие запросы отправились для получения новых изображений, скорее всего они будут во вкладке XHR. И повторяете их через python