Как парсить страницу если данные загружаются не сразу?

Question

[Эрик Микоян]

Как парсить страницу, если нужные мне поля загружаются через время после запуска?

Comments

[Ivan Yakushenko]

попроси скрипт подождать

[Evgenii Danilin]

Изучите подробнее источник данных, используйте Developer tools вашего браузера.
Вероятнее всего существует удобное API которое позволит получать данные более просто.

[Шохрух Шаймардонов]

Ivan Yakushenko, кстати сегодня пришлось решать данную задачу(точнее столкнулся и оставил на завтра).
Дело в том, что просто отловить DOMContentLoaded не резон, ибо подгружаются куча iframe, среди которых надо искать нужные элементы. Вариант с селеной/папитр не подходит, т.к. это в рамках расширения для хром(наконец-то дошли руки попробовать свое "очередное расширение" написать).
Если будут какие-то подсказки, идеи, буду благодарен. Хочется узнать, как коллеги бы подошли к решению данной таски

[Evgenii Danilin]

Шохрух Шаймардонов, используйте источники данных, а не агрегацию.
Например, если на странице есть iframe из которого необходимо извлечь данные, то src укажет целевой ресурс, который отдельно легче распарсить.
Редко когда по настоящему нужно эмулировать работу браузера, очень редко.

Answer 1

[Сергей Горностаев]

Selenium.

Answer 2

[Сергей Куплетский]

На python есть неофициальный порт замечательной библиотеки puppeteer для работы с headless chrome/chromium браузером:
https://github.com/miyakogi/pyppeteer