Каким образом распарсить HTML страницу с автоподрузкой контента средствами java?

Мне необходимо распарсить страничку, получив доступ ко всем записям на ней. Из исходных данных есть только ссылка на страницу. Поиск по сайту возможен, но мы не знаем что искать. При загрузке страницы отображается только часть записей. Добавление записей происходит посредством дописывания их в html код (вероятней всего посредством javascript), вызывается при скроллировании в конец страницы. Примером является стена vk.com. Каким образом мне получить доступ к подгружаемому контенту средствами java?
Непосредственно с парсингом проблем нет. Достаточно будет направления куда мне двигаться, либо API которое можно использовать.
Версия java 1.6.
  • Вопрос задан
  • 3181 просмотр
Решения вопроса 1
@Zetyara
Используйте curl. Если контент пидгружаеться ajax отправляйте запрос на url по которому он обращается и парсите полученный контент.
Ответ написан
Комментировать
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы