Как осуществить парсинг ajax web страницы?

Question

[Паша Андреев]

Какие есть способы и инструменты, для парсинга страницы, содержимое которого подгружается по ajax при скролле?

Предполагаю некоторые варианты:
1) Проанализировать, какого вида и на какой адрес отправляется ajax запрос, эмулировать эти действия и парсить ответ.
2) Использовать инструменты автоматизации браузера (PhantomJS, selenium).

Предложения, пожелания, идеи?

Answer 1

[maxaon]

Если вам надо парсить два-три сайта, тогда конечно первый вариант. Если много или сложная логика - тогда фантом, это не так сложно.
Если парсить не долго и не часто - юзерскрипт/плагин для парсинга. Открыл браузер, нажал кнопочку, подождал, загрузил файл.

Comments

[Паша Андреев]

юзерскрипт!!! Вы открыли мне Америку!

Answer 2

[Александр]

Единственный правильный вариант вы описали под номеров 1. Если хочется хардора и секса - можете реализовать через браузерный компонент и отслеживать изменения контейнера. Но это Тeрмоpектaльный криптоанализ.

Answer 3

[portfelio]

Если у сайта нет запрета отображения во фрейме, то открыть страницу во фрейме и парсить.