Какой язык использовать для парсера динамичных сайтов?

Есть сайт с данными которые загружаются при скруле страницы или при нажатии кнопок типа "показать ещё"
Загрузка через Аякс, но поступившие данные обрабатываются скриптами и высвечиваются по определенному алгоритму.
Как можно парсить такой контент?
Пробовал через VBS. Отличное решение с имитациями нажатий кнопок и скрола страницы в InternetExplorer.Application.
Но это только в Windows. Как такие задачи можно решать на JavaScript или Nodejs.
Если возможно - дайте примеры
Да! И ещё! Сайты бывают https!
  • Вопрос задан
  • 862 просмотра
Пригласить эксперта
Ответы на вопрос 3
pinkevich
@pinkevich
Python Developer
Если я правильно понял вопрос, то вам нужно найти url на который отсылается ajax запрос на сайте (F10 > Network) , что подгружает контент, и на него отправлять такой же post ajax только со своими данными (page=1, page=2 или offset=20, offset=40...)
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы