daniil46
@daniil46
Начинающий погроммист

Как парсить контент, подгружаемый динамически?

Здравствуйте!
Есть сайт один. На нем есть кнопка, которая вызывает модальное окно и оно подгружает в себя некоторую информацию. При переходе по ссылке с этим событием через браузер открывается сайт и автоматом модальное окно.
Но при парсинге на php через simple_html_dom и nokogiri я могу получаю страницу без этого окна. На python'e через requests та же история.
Вопрос, существует ли инструмент, который бы парсил подгружающиеся элементы. Спасибо
  • Вопрос задан
  • 99 просмотров
Решения вопроса 4
ThunderCat
@ThunderCat
{PHP, MySql, HTML, JS, CSS} developer
Selenium либо любой другой веб драйвер, выполняющий яваскрипт. Ну или отследить откуда запрашивается данные и вытащить из отдельным запросом.
Ответ написан
@d-sem
Headless браузеры. Например, puppeteer и его адаптации для разных языков.
Ответ написан
origami1024
@origami1024
went out for a night walk
Модальное окно - простой элемент на странице, твоя проблема - понять откуда и в какой форме подгружается дополнительная инфа.

Чтобы разобраться наиболее удобный инструмент - вкладка Network в google dev tools (F12 в хроме->Network)
Ответ написан
SoreMix
@SoreMix
yellow
F12->Network, смотрите откуда данные для модального окна загружаются. Либо там будут запросы, либо в каком-то из скриптов тексты модалок лежат, оттуда можно достать
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы