Почему не получается спарсить это значение через Jsoup?

Question

[ceramicthree]

Хочу спарсить значение заражённых вирусом
Пытался обращаться к div.today__item__value, также пробовал начиная с article#free-research.free-research добираться до заветного количества заражений, но, к сожалению, в консоль ничего вывести не удалось. Не подскажете, как нужно парсить такие значения?
Сейчас код выглядит вот так:

package examples;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.select.Elements;

import java.io.IOException;

public class YandexCovid {
    public static String infoParse(){
        StringBuilder covidInfo = new StringBuilder();
        try {
            Document document = Jsoup.connect("https://yandex.ru/covid19/stat").get();
            Elements elements = document.getElementsByClass("today__item__value");

            covidInfo.append(elements.text());
        }catch (IOException e){
            e.printStackTrace();
        }
        return covidInfo.toString();
    }

    public static void main(String[] args){
        System.out.println(YandexCovid.infoParse());
    }
}

Comments

[ceramicthree]

Bavashi, пробовал .text() - в консоли ничего не высвечивалось. Даже если просто выводить в консоль document.select("div.today__item__value") - не выводится ничего, я думаю, проблема, в том, что я не так выбираю блок с текстом.

[ceramicthree]

Bavashi, нет, не помогло, всё так же в консоли пусто. Что означает c перед .today__item__value?

[ceramicthree]

Bavashi, получается, придётся скачивать html и с помощью Jsoup.parse() парсить его?

Answer 1

[Орхан Гасанлы]

Добрый день!
1) То что вы видите в консоли браузера (при инспектировании элементы) и то что отображается в исходном коде ctrl + u разнятся.
В исходном коде нет этих элементов, так как предположительно они добавляются в DOM динамически (средствами js). Вроде бы фреймворк react.
Соответственно, спарсить при помози jsoup не получится.
Смотрите в сторону
selenium + jbrowserdriver - https://github.com/MachinePublishers/jBrowserDriver
selenium + chrome || firefox

Comments

[Орхан Гасанлы]

Bavashi, все верно, но при этом JSoup не работает с динамическим контентом. Например, с аяксом он не умеет работать.

https://stackoverflow.com/questions/14802493/java-...

А для этого я обычно использую selenium + браузер через драйвер. Например, для лисы - geckodriver. А так можно взять другие тот же jbrowserdriver и парсить данные. После получения страницы можно уже хоть jsoup'ом спарсить, хоть самими возможностями selenium'a

Answer 2

[Andrey_Dolg]

Велика вероятность что данные приходят в одном из запросов. Изучайте те запросы что получает странице при загрузке.