Как осуществить парсинг HTML страницы, бесконечный список страниц?

Question

[Сергей Бровко]

Ребят, помогите.. В общем есть задача спарсить сайт, на сайте хранятся аудиозаписи. С парсингом практически дел не имел, решил попробовать, но столкнулся с такой проблемой: на сайте записи подгружаются бесконечным списком (долистал до низа - получи новую порцию), каждая запись ведет на страничку, с которой нужно забрать определенный текст (тайтл) и собственно аудиофайл, который позже скачаю с именем = тайтлу.
На главной страничке, где бесконечный список ссылка на каждую запись вида , а на самой записи уже Кучка текста ну и аудиозапись Скачать
Собственно вопрос, как осуществить парсинг,если оно подгружается бесконечным списком? Накидайте примеров пожалуйста, как эту задачу решить.

Answer 1

[entermix]

Собственно вопрос, как осуществить парсинг,если оно подгружается бесконечным списком?

1. Включить Firebug
2. Изучить принцип по которому подгружаются новые записи, по сути, это работает как обычная пагинация (site.ru/start=0, site.ru/start=10,..., ), но возвращается только нужная информация, а не целая страничка, обычно это html код в json формате
3. Пройтись по страницам и получить нужную инфу