@Bjornie
Изучаю Python

Как парсить динамический контент, где разные данные запроса (AJAX POST)?

Разрабатывая парсер столкнулся с проблемой парсинга динамических страниц, точнее перехода по ссылкам пагинации, которые имеют вид как на скриншоте:
a4c611f7b25d47bea288bab2e57bab4b.jpg

А в качестве запроса передают след. данные: 98fec40759214c90918acf7ac8611f51.jpg

После клика по номеру страницы контент на странице подменяется, адрес в браузере не меняется, при этом селекторы пейджеров имеют не совсем логичные имена, по-этому нельзя определить их промежуток.

UPD: если это важно. Ответом приходят кусок готового HTML, который полностью подменяет нужную мне таблицу данных вместе с пейджерами.

Если честно мне не совсем понятно как сделать обход такой пагинации. Пытался гуглить, смотрел статьи, уроки, но везде говорится о парсинге более простых AJAX-запросов, где намного проще составить запроса для парсинга.
  • Вопрос задан
  • 5212 просмотров
Пригласить эксперта
Ответы на вопрос 2
Revencu
@Revencu
Пробовали отследить какие запросы формируются (хотя бы в консоле разработчика у браузера - вкладка Network) и какие ответы на них приходят?
Ответ написан
Комментировать
Попробуйте через phantomjs парсить динамические сайты.
PhantomJS is a headless WebKit scriptable with a JavaScript API. It has fast and native support for various web standards: DOM handling, CSS selector, JSON, Canvas, and SVG.

stackoverflow.com/questions/13287490/is-there-a-wa...
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы