Как парсить данные страницы, которые формируются на JS?

Question

[Senseich]

Всем привет! Никогда не делал что-то подобное, поэтому могу не точно формулировать. Хочу спарсить лайв статистику для спортивного сайта. Нашел такой сайт

Как я понял, страничка со всеми данными формируется с помощью JS, т.е. при парсинге страницы file_get_contents выдаёт в теле страницы просто JS скрипт.

Возможно ли парсить данные с такого сайта? Если да, то в каком направлении копать. В инете я подобной инфы не нашел, возможно из-за неправильной формулировки.

Comments

[WbICHA]

Зачем парсить, если можно получать данные оттуда же, откуда их берёт жс?

[Senseich]

WbICHA, тут похоже не получится получать оттуда же.

[WbICHA]

Senseich, и в чём же проблема?

[Senseich]

WbICHA, скорей всего там права доступа нужны

[WbICHA]

Senseich, очень интересно. И как же ты, заходя на их сайт, без каких-либо прав получаешь все данные?

[Senseich]

WbICHA, да в том и дело, что не понятно от куда их берет жс ) Плюс у меня не хватает компетенции. Я не говорю - подайте мне всё на блюдечке, не из ленивых. Просто хотел узнать, если есть такая возможность, чтобы намекнули в каком направлении копать.

[Ба Ань Доан]

Senseich, JS делает запрос по API, посмотрите адрес в консоли разработчика.

Answer 1

[Inviz Custos]

Для PHP есть обертка над puppeteer
https://github.com/rialto-php/puphpeteer

Answer 2

[Алексей Сундуков]

Нужно использовать webdriver и headless режим запуска браузера. Хром это умеет и самое простое сейчас это запустить его в docker пример как тут описано: https://stackoverflow.com/a/60009842 . А дальше можно посылать ему команды и можно делать не только парсинг, но и писать ботов. Управлять лучше через Xpath.

Вот видео с техническими деталями и примерами кода как это может работать: https://www.youtube.com/watch?v=QljcCuKTqGM&list=P...
А тут про XPath если с ним нет опыта: https://www.youtube.com/watch?v=id_MNxmdRvk

Answer 3

[Дмитрий]

можно.
1. Использовать Selenium
2. Смотреть откуда JS берет данные - в этом случае - оно гребет с таких урлов: https://d.livescore.in/ru/x/feed/f_1_0_3_ru_4 посмотреть все эти урлы можно в закладки Сеть в средствах разработчика

Comments

[Senseich]

А как вы поняли, что именно с таких урлов гребет, или это просто пример?

[Дмитрий]

Senseich, я вам даже написал как это смотреть - средства разработчика, вкладка сеть

[Senseich]

Дмитрий, буду копать, пробовать, спасибо.