Как парсить сайты с загрузкой при прокрутке?

Question

[folsout]

Привет, пытаюсь спарсить Яндекс.Картинки по определенному запросу, использую JSOUP. Вроде бы все хорошо, но грузит только первые 30 картинок, как реализовать загрузку при прокрутке?

Comments

[Модератор]

folsout дорогой пользователь, настоятельно рекомендуем еще раз обратить самое пристальное внимание на п. 3.1 регламента работы сервиса (и, в особенности, на его последний абзац). В противном случае, ваши вопросы будут удаляться по причине тег-спама, а систематические нарушения приведут к блокировке учетной записи.

Answer 1

[Дмитрий Баскаков]

Через инстпектор хрома можно.
Нужно открыть инстпектор, зайти на вкладку сеть, выбрать xhr, прокрутить до загрузки и посмотреть куда и какой запрос уходит. Затем можно копировать запрос, меняя данные внутри, чтобы получить ту или иную страницу с теми же картинками

Comments

[folsout]

В случае с Яндекс картинками нужно было добавить search?p=№страницы
Например просто запрос в Яндекс.Картинках "Яблоки" выглядит так https://yandex.ru/search/?lr=117736&text=%D1%8F%D0...
А этот на 5 страницу https://yandex.ru/images/search?p=5&text=%D1%8F%D0...

[Дмитрий Баскаков]

folsout, значит все оказалось проще)

Answer 2

[dollar]

Думаю, лучше перейти с JSOUP на чисто хром.
Меньше шанс, что что-то сломается.
Да и проще реализовать, не нужно копаться в (обфускированном?) коде, а достаточно работы с DOM.
То есть просто делаешь расширение для хрома (личное) - и оно уже во вкладке парсит выдачу яндекса, одновременно прокручивая страницу для подгрузки новых изображений.