Каким образом распарсить HTML страницу с автоподрузкой контента средствами java?

Question

[SM09E]

Мне необходимо распарсить страничку, получив доступ ко всем записям на ней. Из исходных данных есть только ссылка на страницу. Поиск по сайту возможен, но мы не знаем что искать. При загрузке страницы отображается только часть записей. Добавление записей происходит посредством дописывания их в html код (вероятней всего посредством javascript), вызывается при скроллировании в конец страницы. Примером является стена vk.com. Каким образом мне получить доступ к подгружаемому контенту средствами java?
Непосредственно с парсингом проблем нет. Достаточно будет направления куда мне двигаться, либо API которое можно использовать.
Версия java 1.6.

Answer 1

[Zetyara]

Используйте curl. Если контент пидгружаеться ajax отправляйте запрос на url по которому он обращается и парсите полученный контент.