Как получить данные по Curl со страницы где есть подгрузка при скролинге?

Question

[dmitred]

Доброго времени суток!

Подскажите пожалуйста как спарсить аудиозаписи пользователя ВКонтакте, публичное API закрыто для работы с аудио.

По Curl получается авторизоваться и получить страницу аудиозаписей пользователя но встает вопрос как спарсить все записи а не только первые 50?

Не сталкивался с парсингом именно скролинга, но думаю есть решение.

Благодарен за любую помощь в этом вопросе.

Comments

[Нурлан]

Обязательно на PHP?

[dmitred]

Нурлан: Да привязано все к php. А как еще вы предлагаете?

[Нурлан]

dmitred: server js: phantom js, casper js или nightmare js(мой выбор). По сути эмуляция браузера. Можно попробовать слать post запрос на адрес https://m.vk.com/audios{user_id} с параметрами _ajax:1
offset:296, но не знаю отработает ли. Так что можете попробовать оба варианта. P.S. Не забудьте про заголовки.

[dmitred]

Посмотрел бегло, там выдается вроде 50 записей которые и так есть на странице, они в json там внизу страницы в коде так и лежат

Answer 1

[Ilya]

День добрый.

Я бегло посмотрел по вашему вопросу и вот что удалось выяснить.
При открытии страницы аудиозаписей пользователя выполняется POST-запрос на https://vk.com/al_audio.php такого формата:

act:load_silent
al:1
album_id:-2
band:false
owner_id:3118730

А в ответ приходит огромный ответ где (внимание) есть список всех композиций - его надо только распарсить правильно.
Это я к тому, что при скролинге списка аудио доп. запросов на сервер не отправляется.
Так что экспериментируйте.

Comments

[dmitred]

Интересно, а где тогда хранится этот полученый список?

[Ilya]

dmitred: А вот это вам придется решить самому https://vk.com/js/al/audioplayer.js