JSOUP: Как посчитать количество страниц на сайте?

Question

[Andres Iniesta]

Добрый день!

Ребята, я делаю парсинг сайта следующего рода: www.myurl.com/page/X

X - номер страницы, с которой я должен вытащить все картники.
С одной страницы я могу вытащить картинки. Проблем нет.
Но вот как в цикле менять ссылку (page/1 ; page/2 ; page/3), и запускать мой код на этих страницах?
Проблема в том, что я незнаю сколько страниц вообщем существует на сайте и оно может увеличиваться со временем при добавлении новых картинок.
Что посоветуете ребята? как быть?

Comments

[Орхан Гасанлы]

Честно говоря, мне и самому интересно, но я обычно использую следующий метод...
1) если кол-во страниц заранее известно, то тут все просто. Цикл for и указываете кол-во страниц.
2) если кол-во старниц неизвестно, то до открытия до самой страницы я чекаю статус и если он равен 200, то все ок и собираю данные, а если код статуса не 200 (например, 404), то значит, этой страницы не существует. Можно наверное, это использовать, чтобы "понять" когда нужно выйти из цикла while или do-while
Т.е. если вкратце, то код ответа 404 будет являться признаком того, что страницы закончились и нужно выйти из цикла
А так мне и самому будет интересно услышать мнение.

[Andres Iniesta]

azerphoenix,
В принципе я нарисовал себе схему, как чекать достиг я конца или нет.
Я проверяю div с нужным именем. Я проверил на последнец странице его нет. Но страница сама существует. 404 нет. Страница есть, но фоток уже там нет.
Просто что-то не понял, как пройтись по всем страницам начиная от 1.
for вроде имеет конец, а его у меня нет. На той странице, которая ща последняя могут появится картинки со временем.

[Орхан Гасанлы]

nuroraf, можно в принципе, проверять просматривается ли нужный вам div в DOM.
А пробовали ли вы использовать do while? По моему с учетом вашей реализации он подойдет

[Andres Iniesta]

do while решило проблему ))
Спасибо за размышление вместе :)

[Орхан Гасанлы]

nuroraf, еще нашел такую штуку, но лень проверять)) https://github.com/srijiths/Web-Pagination-Finder
Вдруг, когда-нибудь понадобится

Answer 1

[al_gon]

Самое главное сохранять next page и/или правильно его извлекать.
Но так как нет конкретного примера, нет конректного ответа.

Answer 2

[Ndochp]

А картинки по страницам не бегают?
В такой простой схеме крутим цикл до 404 (или что там сайт отвечает для несуществующей страницы) и запоминаем номер, до куда скачали и количество картинок на последней успешной странице. Следующий старт - с последней страницы, с +1 картинки. и опять до 404.

Comments

[Andres Iniesta]

do, while - решило проблему ;)