Готовые решения для web crawler с https/авторизацией[social]?

Question

[Bagobor]

Существуют ли готовые решения для web crawler с https/авторизацией[social]?

Готов рассмотреть варианты фреймворков\скриптов\сред\сервисов — досточно что бы получить набор страниц\файлов которые соответвуют заданным шаблонам.


Столкнулся с задачей составить таблички по данным с нескольких сайтов, данные можно получить после авторизации через социальные сеть (фейсбук), а сам сайт доступен только через https — текущее решение — входить «руками» и автоматизировать скачивание через браузерный аддон (Хром\FF).

Answer 1

[Bagobor]

Основная проблема что в текущий момент не представлять как работает авторизация OpenID like авторизации. И то что не удалось найти crawlers которые бы явно это поддерживали.
Конечно есть шанс что не правильно ищу. Буду благодарен совету.

Answer 2

[peterVolkov]

Я бы взял CasperJS(cлой поверх PhantomJs/SlimmerJS)
Всё, реализуемое в обычном браузере легко автоматизируется