Как парсить ленту постов, подгружаемую по ajax?

Question

[Crash]

Хочу спарсить ленту постов. Дело плевое, если бы не одно "но" - лента подгружается по ajax при прокрутке страницы. Тема пока что мне не знакомая. Как это сделать, что использовать? Парсеры пишу на старом добром PHP

Answer 1

[sim3x]

f12 network
смотрим, что и как подгружается
парсим

Не парсим, если у сайта есть апи

Comments

[Crash]

в принципе я догадывался об этом, но вот в чем подвох: запросы на подгрузку каждый производятся уникальные, например: https://twitter.com/i/videos/tweet/788852419996295... (парсю твиттер, хочу скачать все медиа определенного пользователя)

[sim3x]

Crash:
stackoverflow.com/questions/18128038/get-user-medi...
https://dev.twitter.com/rest/public/search

[Crash]

sim3x: значит через апишку все. Спасибо, буду разбираться