Какой язык использовать для парсера динамичных сайтов?

Есть сайт с данными которые загружаются при скруле страницы или при нажатии кнопок типа "показать ещё"
Загрузка через Аякс, но поступившие данные обрабатываются скриптами и высвечиваются по определенному алгоритму.
Как можно парсить такой контент?
Пробовал через VBS. Отличное решение с имитациями нажатий кнопок и скрола страницы в InternetExplorer.Application.
Но это только в Windows. Как такие задачи можно решать на JavaScript или Nodejs.
Если возможно - дайте примеры
Да! И ещё! Сайты бывают https!
  • Вопрос задан
  • 864 просмотра
Пригласить эксперта
Ответы на вопрос 3
chlp
@chlp
фулстек
Может Selenium подойдет?
www.seleniumhq.org
habrahabr.ru/post/186496
Ответ написан
Комментировать
@klinkin
Я юзал phantomjs.org
Ответ написан
Комментировать
pinkevich
@pinkevich
Developer
Если я правильно понял вопрос, то вам нужно найти url на который отсылается ajax запрос на сайте (F10 > Network) , что подгружает контент, и на него отправлять такой же post ajax только со своими данными (page=1, page=2 или offset=20, offset=40...)
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы