Как с помощью Java скачать html-страницу и связанные с ней ресурсы, например изображения под тегами img?

Question

[Роман Красников]

Скачать страницу не проблема. Использовал класс HTTPURLConnection. Всё прекрасно скачивается. Проблема заключается в скачивании ресурсов, т.к они имеют в большинстве своем относительные пути. Была идея парсить ссылки на ресурсы и если они определены через абсолютные или относительные пути, то добавлять к ним протокол + url сайта родителя. Но это дико долго. Есть идея поизящней?

Answer 1

[Alexej Simakov]

использовать библотеку jsoup.org
цельные примеры тут:
https://examples.javacodegeeks.com/enterprise-java...
stackoverflow.com/questions/10119998/fetch-complet...
Суть такая:
Xатаем страницу

Document doc = Jsoup.connect("http://google.com").get();

находим все нужные теги
Elements img = doc.getElementsByTag("img");

обходим коллекцию

for (Element el : img){ String src = el.absUrl("src"); }

как-то так :)

Comments

[Роман Красников]

Я именно так и делаю. Проблема этого метода, что в src="..." лежат относительные пути, а не абсолютные. Т.е без протокола. Например, src = "//yastatic.net/morda-logo/i/citylogos/dovlatov75-logo-ru.png".

[Роман Красников]

Хотя по первой ссылке вроде есть нужная информация. Спасибо!

[Defman21]

Роман Красников: это не относительный путь. Для таких путей браузер сам выбирает протокол, по которому грузить картинку, в зависимости от родительского протокола (т.е. сайта)

[Роман Красников]

Defman21: странно, потому что в логах всплывают сообщения типа "no protocol" при скачивании