Спасибо за ответ! Скажите, я правильно понимаю, что зная доменное имя нельзя быстро и наверняка установить все поддомены, которые зарегистрированы в данном домене?
Александр Аксентьев: Спасибо за комментарий, и там действительно, нет API... И на Reuters в консоли журналиста — вообще все на адском JS...
А есть что сказать насчет блогового движка Ghost ?
И насчет PhantomJS / CasperJS в качестве альтернативы Selenium ?
Сбор информации будет происходить с платных изданий, там paywall везде, RSS нет.
Один из ресурсов — Reuters, там без JS cookie не получится работать, как быть без Selenium ?