Как организовать атоматический парсинг?

Question

[bychok300]

У меня есть веб приложение написанное на Java, которое парсит html. Но парсит оно только 1 сайт за заход, как мне сделать так, что бы я просто брал список урлов, теги которые будут парситься джал окончания работ?
Как я понимаю, по большому счету, можно просто сделать коллекцию с урлами и итерироваться по этой коллекции каждый раз открывая урл и выпаршивая что надо

Comments

[al_gon]

bychok300 Как справились, расскажите, интресно!?

[bychok300]

al_gon: да очень просто, на вход дал не урл а лист урлов))

Answer 1

[protven]

Не изобретайте велосипедов, используйте стандартные фреймворки для парсинга, так называемые краулеры.
Вот например - https://github.com/yasserg/crawler4j или вот https://github.com/DigitalPebble/storm-crawler

Если уж хочется самому - то имплементируйте классом, который занимается парсингом, интерфейс Runnable, создайте ExcecutorService и парсите параллельно, в столько потоков, сколько нужно.

Comments

[al_gon]

Не сочтите, что продераюсь к словам, но crawling и parsing это разные понятия.

[protven]

al_gon: Ну это понятно, я тут краулеры рекомендую использовать в качестве обвязки, чтобы самому не городить каркас приложения. А сосредоточиться на логике как собсно содержимое парсить.

[al_gon]

protven: Я предпологал, что это просто формулировка такая.