Как скрапить динамические сайты?

Question

[Andrei1penguin1]

Доброго времени суток, есть потребность скачивать первые 2000 фотографий по одному запросу с гугл картинок, используется фреймворк scrapy
В этом фреймворка опыта разработки у меня нет, поэтому прошу помощи:
Как скрапить динамические сайты?
Ведь на Гугл картинках грузятся лишь первые несколько десятков фото, остальные догружаются по мере прокрутки страницы
Как это обойти?

Answer 1

[coderisimo]

1) Надо изучать, что происходит на странице когда вы прокручиваете ее. Очень возможно , что отправляются простые запросы , которые можно воспроизвести используя scrapy. Просто , изучите содержимое консоли.
2) Есть инструменты, которые имитируют работу обычного браузера (включая исполнение js, прокрутку страницы и прочее). Например :
-Puppeteer
-Splash
-Selenium (им можно рулить из python)
3) Процесс творческий ))))

Comments

[Andrei1penguin1]

Да, я пробовал, но подгрузка идёт со страниц, у которых адрес генерится токеном, и я не знаю, как на них выходить

[coderisimo]

Andrei1penguin1, можно попробовать найти токен и использовать его , а есть еще и куки и содержимое локал сторэйдж ))) Чаще всего можно обойтись без js. Но если нет идей, значит пробуйте headless бразуеры. Тот же Selenium.

driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

и будьте готовы использовать новые инструменты. Иначе далеко не уедешь ))

[Andrei1penguin1]

А можно как-то заставить scrapy самостоятельно скроллить страницу?

[Dimonchik]

Andrei1penguin1, можно, но он не будет

ну и главную фичу тебе не сказали

[Andrei1penguin1]

dimonchik2013, какую?

[Dimonchik]

Andrei1penguin1, тебе это не нужно

[Andrei1penguin1]

Так а как мне в итоге прокрутку делать?
Может с помощью selenium?
Но я не очень представляю, как это можно реализовать, а тем более связать со scrapy, мне бы на какого-нибудь тестового паука взглянуть для таких целей

[coderisimo]

Andrei1penguin1, вопрос слишком глобальный.
Можно использовать selenium - примеры есть в сети.
Можно использовать splash , он встраивается как middlware (но потребуется докер)
Можно попробовать вот эту штуку https://github.com/clemfromspace/scrapy-selenium

Я для подобных надобностей в разное время использовал selenium (запускал локально без scrapy )
Когда понадобилось чтобы проект работал с сервера использовал node.js + puppeteer. Но пришлось разбираться с нуля с node ))

[Andrei1penguin1]

coderisimo, хотелось бы без гибридных библиотек
Если конкретно, то есть страница с фотографиями images.google, мне нужно в паука scrapy (spider.py) встроить selenium
Как это корректнее сделать?

[coderisimo]

здесь гугЛЬ в помощь -
например,
https://coderoad.ru/17975471/selenium-%D1%81-scrap...

или задать здесь вопрос по работе именно этой связки scrapy + selenium .

[Andrei1penguin1]

Спасибо, задам вопрос

[coderisimo]

Andrei1penguin1,
удачи! По факту в сети много инфы, просто ищите и разбирайтесь