Готовые решения для web crawler с https/авторизацией[social]?
Существуют ли готовые решения для web crawler с https/авторизацией[social]?
Готов рассмотреть варианты фреймворков\скриптов\сред\сервисов — досточно что бы получить набор страниц\файлов которые соответвуют заданным шаблонам.
Столкнулся с задачей составить таблички по данным с нескольких сайтов, данные можно получить после авторизации через социальные сеть (фейсбук), а сам сайт доступен только через https — текущее решение — входить «руками» и автоматизировать скачивание через браузерный аддон (Хром\FF).
Основная проблема что в текущий момент не представлять как работает авторизация OpenID like авторизации. И то что не удалось найти crawlers которые бы явно это поддерживали.
Конечно есть шанс что не правильно ищу. Буду благодарен совету.
