Как парсить данные с localhost:8080, используя Jsoup?

Question

[askalidov]

Имеется ли вообще такая возможность?
У меня есть 10 контейнеров с class="card", вот код:

try {
      Document doc = Jsoup.connect("http://localhost:8080/configurator").get();
      Elements cards = doc.getElementsByAttributeValue("class", "card");
      System.out.println(cards.size());
} catch (IOException ex) {
    ex.printStackTrace();
}

По моей логике, должно выводить в консоль 10, но выводит 0. Соответственно, закрадываются подозрения, что код не особо работает :(

Comments

[Орхан Гасанлы]

Добрый день.
1) Пропингуйте localhost:8080. Что возвращается?
2) Поставьте точку остановки на Document doc и посмотрите есть ли документ.
3) Уверены, ли что указали селектор корректно?
getElementsByAttributeValue("class", "card");

[askalidov]

Орхан Гасанлы, здравствуйте!
ping localhost:8080 выдает ошибку:
При проверке связи не удалось обнаружить узел localhost:8080.
Проверьте имя узла и повторите попытку.
Селектор точно корректен

[сергей кузьмин]

askalidov, если хост не слушает селектор уже не поможет

[Орхан Гасанлы]

askalidov,
Что возвращается в браузере при обращении к:
http://localhost:8080/configurator

Также попробуйте вместо localhost вписать 127.0.0.1

[askalidov]

Орхан Гасанлы,
При обращении к localhost:8080/configurator та же ошибка, а при 127.0.0.1 идёт обмен пакетами.

[askalidov]

Я тут заметил, что вроде как doc он видит, но там в body только лишь один главный контейнер div, а что в нём - он видимо не видит.

[Орхан Гасанлы]

askalidov,
попробуйте:

try {
      Document doc = Jsoup.connect("http://127.0.0.1:8080/configurator").get();
      Elements cards = doc.getElementsByAttributeValue("class", "card");
      System.out.println(cards.size());
} catch (IOException ex) {
    ex.printStackTrace();
}

[askalidov]

Орхан Гасанлы,
Всё равно 0.
Я тут выше написал, что в doc в body только главный контейнер видит, не знаю почему, наверное в этом проблема

[Орхан Гасанлы]

Я тут выше написал, что в doc в body только главный контейнер видит, не знаю почему, наверное в этом проблема

Нет, это не проблема.
Проблема в том, что у вас сервер не запущен. А на чем крутится сервер на порту 8080. Чем запускаете его?

[askalidov]

Орхан Гасанлы,
Через Spring Boot Application (Tomcat started on port(s): 8080 (http) with context path '')

[Орхан Гасанлы]

askalidov,
вам необходимо разобраться с этим приложением.
Посмотрите по какому урлу он возвращает результат (document).
Правильно ли я понимаю, что у вас есть некий контроллер, который возвращает html страницу при обращении на configurator ? Работает ли это приложение в браузере или в postman?

[Орхан Гасанлы]

попробуйте заменить это:

Elements cards = doc.getElementsByAttributeValue("class", "card");

на:
Elements cards = doc.select(".class");

[askalidov]

Орхан Гасанлы,

Посмотрите по какому урлу он возвращает результат (document).

Можете подсказать, как, пожалуйста?)

Правильно ли я понимаю, что у вас есть некий контроллер, который возвращает html страницу при обращении на configurator ? Работает ли это приложение в браузере или в postman?

Да, правильно. Приложении работает в браузере, в postman'e на GET-запрос по localhost:8080/configurator выдает страничку.

[askalidov]

Орхан Гасанлы,

попробуйте заменить это:
Elements cards = doc.getElementsByAttributeValue("class", "card");

на:
Elements cards = doc.select(".class");

Всё тот же 0 :(

[Орхан Гасанлы]

askalidov,
можете выложить код, чтобы я глянул?
Я бы предположил, что это может быть связано с CRSF, но не факт...

Answer 1

[Орхан Гасанлы]

Я посмотрел на исходный код проекта и все стало на свои места.
Во-первых, этот проект использует Vaadin. К сожалению, мне не доводилось использовать его, но я могу сказать следующее:
Контент страницы формируется динамически на клиенте. JSoup не умеет работать с динамически формируемым контентом и потому, на момент парсинга документа там лишь:
<div id="outlet"></div>
Соответственно, чтобы спарсить динамический контент вам нужно:
1) либо изучить внутренний АПИ и спарсить json, который возвращается извне. Зайдите во вкладку Network (Сеть) браузера и отфильтруйте XHR запросы и гляньте, на какой эндпоинт выполняется запрос и что возвращается в ответ.
2) либо спарсить сайт при помощи Selenium. (запустить браузер, дождаться загрузки страницы, получить документ, получить List<WebElement>)

Comments

[askalidov]

Спасибо большое, буду пытаться в Selenium! :)