Как правильно спарсить несколько сайтов??

Question

[Антон @ Лялин]

Стоит задача извлечения некоторого текста, соответствующий определенному запросу с различных сайтов. Например, есть сайты словари, толковые словари. Далее извлечение термина определенного слова. Для отдельных сайтов можно сделать, то есть поиск по определенным тегам, но для разных сайтов один и тот же код не подойдет. Как сделать, чтобы один и тот же код парсил различные сайты на более менее нормальном уровне?

Answer 1

[Ne-Lexa]

На Java для парсинга рекомендую Jsoup.

Установка через maven:

<dependency>
  <!-- jsoup HTML parser library @ http://jsoup.org/ -->
  <groupId>org.jsoup</groupId>
  <artifactId>jsoup</artifactId>
  <version>1.10.2</version>
</dependency>

или gradle:
compile 'org.jsoup:jsoup:1.10.2'

Как сделать, чтобы один и тот же код парсил различные сайты на более менее нормальном уровне?

Стать гугл поиском :)

Answer 2

[bychok300]

Один и тот же код не будет парсить разные сайты одинаково, так как вы парсите по html тегам или xml разметке, не важно, важно то, что вы привязаны к конкретномым названиям объектов, а на разных сайтах они разные

А для парсинга можно использовать Jsoup!

Comments

[Антон @ Лялин]

Для этого и задаю данный вопрос. Может есть выход? Конечно, не требуется 100% результата, но чтобы более - менеее

[bychok300]

можете собирать значения тегов в ручную, потом скармливать их парсеру, пусть проверяет какие есть, если есть, то парсит, если нет то идет дальше. Потом берет новый урл и снова та же тема, если у вас кол-во сайтов не меняется, вы парсите одни и те же, то я думаю такой велосипед подойдет