Как парсить данные страницы, которые формируются на JS?
Всем привет! Никогда не делал что-то подобное, поэтому могу не точно формулировать. Хочу спарсить лайв статистику для спортивного сайта. Нашел такой сайт
Как я понял, страничка со всеми данными формируется с помощью JS, т.е. при парсинге страницы file_get_contents выдаёт в теле страницы просто JS скрипт.
Возможно ли парсить данные с такого сайта? Если да, то в каком направлении копать. В инете я подобной инфы не нашел, возможно из-за неправильной формулировки.
WbICHA, да в том и дело, что не понятно от куда их берет жс ) Плюс у меня не хватает компетенции. Я не говорю - подайте мне всё на блюдечке, не из ленивых. Просто хотел узнать, если есть такая возможность, чтобы намекнули в каком направлении копать.
Нужно использовать webdriver и headless режим запуска браузера. Хром это умеет и самое простое сейчас это запустить его в docker пример как тут описано: https://stackoverflow.com/a/60009842 . А дальше можно посылать ему команды и можно делать не только парсинг, но и писать ботов. Управлять лучше через Xpath.
можно.
1. Использовать Selenium
2. Смотреть откуда JS берет данные - в этом случае - оно гребет с таких урлов: https://d.livescore.in/ru/x/feed/f_1_0_3_ru_4 посмотреть все эти урлы можно в закладки Сеть в средствах разработчика
