Почему Jsoup не выбирает все элементы?

Question

[Alecxandrys]

День добрый,
Необходимо в проекте на Java собрать все ссылки в определённых элементов на странице.
Соответственно делается следующее:

Document doc = Jsoup.connect("https://www.vyatsu.ru/studentu-1/spravochnaya-informatsiya/raspisanie-zanyatiy-dlya-studentov.html").get();
Elements list1=doc.getElementsByClass("listPeriod");
Elements list =doc.select(".listPeriod");

Но ни list1 ни list не содержит все совпадения, а содержат только по 102 элемента, хотя аналогичный селектор на JQuery дает 683 элемента, что является правильным результатом.
Причем Jsoup в принципе не идёт по телу документа далее определённого места (КТУб-1201-01-00 последний нужный узел, который он находит) возвращая пустой результат даже на поиск по конкретному id, который расположен ниже определённого узла, хотя в Jquery никаких проблем с этим не испытывает.

Соответственно вопросы:
1) Почему так
2) Как исправить

P.S
Онлайн пример на этом же самом источнике вязнет в этому же месте, выдавая все те же 102 элемента

Answer 1

[Евгений Калибров]

для слишком больших документов Jsoup по-умолчанию скачивает не весь html код, а только часть. Это регулируется параметром maxBodySize, по-умолчанию он равен 1 МБ. Что бы убрать ограничение задайте значение 0 для данного параметра:

Jsoup
    .connect("https://www.vyatsu.ru/studentu-1/spravochnaya-informatsiya/raspisanie-zanyatiy-dlya-studentov.html")
    .maxBodySize(0)
    .get();

Comments

[Евгений Калибров]

Alecxandrys , вам помог мой совет?

[Alecxandrys]

Евгений Калибров, да, спасибо