Каким инструментарием воспользоваться для постоянного сбора данных и мониторинга с большого количества сайтов?

Question

[Дмитрий Шалмиев]

Необходимо настроить сервис собирающий внутри себя актуальные данные с сторонних сайтов. Все данные закрыты от публичного доступа и находяться в личном аккаунте. Для получения этих данных необходима авторизация. Так-как сайтов много, то сбор нужно как-то автоматизировать, при том что очень важна актуальность данных.

Вот и возникает ступор при мысли о реализации задачи. Как и каким мечом можно побороть данный вопрос? =)

Answer 1

[xmoonlight]

обычно скрипты curl или casper.js

Answer 2

[targumon]

Напрмер, perl с такими модулями:
WWW::Mechanize для серфа по сайту
Mojo::DOM для парсинга html
AnyEvent если понадобится асинхронность