Как парсить контент, подгружаемый динамически?

Question

[Даниил]

Здравствуйте!
Есть сайт один. На нем есть кнопка, которая вызывает модальное окно и оно подгружает в себя некоторую информацию. При переходе по ссылке с этим событием через браузер открывается сайт и автоматом модальное окно.
Но при парсинге на php через simple_html_dom и nokogiri я могу получаю страницу без этого окна. На python'e через requests та же история.
Вопрос, существует ли инструмент, который бы парсил подгружающиеся элементы. Спасибо

Answer 1

[ThunderCat]

Selenium либо любой другой веб драйвер, выполняющий яваскрипт. Ну или отследить откуда запрашивается данные и вытащить из отдельным запросом.

Answer 2

[d-sem]

Headless браузеры. Например, puppeteer и его адаптации для разных языков.

Answer 3

[origami1024]

Модальное окно - простой элемент на странице, твоя проблема - понять откуда и в какой форме подгружается дополнительная инфа.

Чтобы разобраться наиболее удобный инструмент - вкладка Network в google dev tools (F12 в хроме->Network)

Answer 4

[soremix]

F12->Network, смотрите откуда данные для модального окна загружаются. Либо там будут запросы, либо в каком-то из скриптов тексты модалок лежат, оттуда можно достать