Какой язык использовать для парсера динамичных сайтов?

Question

[Emil Revencu]

Есть сайт с данными которые загружаются при скруле страницы или при нажатии кнопок типа "показать ещё"
Загрузка через Аякс, но поступившие данные обрабатываются скриптами и высвечиваются по определенному алгоритму.
Как можно парсить такой контент?
Пробовал через VBS. Отличное решение с имитациями нажатий кнопок и скрола страницы в InternetExplorer.Application.
Но это только в Windows. Как такие задачи можно решать на JavaScript или Nodejs.
Если возможно - дайте примеры
Да! И ещё! Сайты бывают https!

Answer 1

[Алексей Рытиков]

Может Selenium подойдет?
www.seleniumhq.org
habrahabr.ru/post/186496

Answer 2

[klinkin]

Я юзал phantomjs.org

Answer 3

[Alexander Pinkevich]

Если я правильно понял вопрос, то вам нужно найти url на который отсылается ajax запрос на сайте (F10 > Network) , что подгружает контент, и на него отправлять такой же post ajax только со своими данными (page=1, page=2 или offset=20, offset=40...)

Comments

[Emil Revencu]

Этот вариант не подходит. Я же отметил: данные полученные Аяксом обрабатываются скиптом

[Игорь Лютоев]

Данные скорее всего приходят в json или сгенерированной страничкой. Их точно также можно распарситью

[Emil Revencu]

Для json понятно, но в моём случае ответ закодирован и обрабатывается скриптом

[Alexander Pinkevich]

что за сайт? хочу попробовать

[Emil Revencu]

Facebook reviews