Здравствуйте, возник вопрос по парсингу сайта.
Надо запарсить сайт по разным ссылкам использую Jsoup так же с добавлением HTMLunit.
Парсится от 2 до 10 ссылок потом просто перестаёт работать. Таймер ставил уже на 5 минут на одну ссылку, ничего не помогает.
Может есть другие предложения как можно парсить сайт через Java.
Код:
public static void main(String[] args) throws Exception {
FileInputStream fis = new FileInputStream("D:\\car.txt");
BufferedReader reader = new BufferedReader(new InputStreamReader(fis));
String strLine;
while ((strLine = reader.readLine()) != null) {
String test = "";
Document document;
document = Jsoup.connect(strLine).get();
Elements elements = document.getElementsByClass("...");
test = elements.text();
System.out.println(test);
System.out.println("Готово!");
Thread.sleep(50000);
}
