Как спарсить HTML в Java с помощью HtmlUnit или JSOUP?

Question

[Evgeniy Kornyshev]

Здравствуйте. Возникла следующая проблема с парсингом сайтов: метод get в JSOUP и соответствующий механизм в HtmlUnit возвращают исходный код страницы. Но нужный текстовый контент, который я вижу в браузере, зашит в исходники, а как его оттуда извлечь я не знаю. Есть ли возможность средствами Java получить итоговую HTML страницу со всем текстовым контентом или всё это в читаемом виде? Заранее спасибо, надеюcь понятно написал.

Comments

[сергей кузьмин]

вот фрагмент кода котовый ищет в jsoup DOMе по путям напоминающим cssSelector'ы селениума...

pageSource = driver.getPageSource(); //  у вас уже есть
Document  jsoupDocument = Jsoup.parse(pageSource);
 List<String> jsoupSelectors = Arrays.asList(
			new String[] { "#acListWrap .productListing", ".productListing" });
		for (String jsoupSelector : jsoupSelectors) {
			jsoupElements = jsoupDocument.select(jsoupSelector);
			assertThat(jsoupElements, notNullValue());
			assertThat(jsoupElements.iterator().hasNext(), is(true));
			assertThat(jsoupElements.eachText().size(), greaterThan(1));
			System.err.println(String.format("Processing jsoup selector \"%s\" %s",
					jsoupSelector, jsoupElements.first().text()));
		}

https://jsoup.org/cookbook/extracting-data/selecto...

Answer 1

[Сергей c0re]

Я думаю, что вам нужен "безголовый" хром, смотрите Introduction to Headless Chrome

Comments

[Evgeniy Kornyshev]

Спасибо, всё получилось через headless browser.