Что нужно использовать чтобы можно было парсить странички с уже отработавшими js скриптами?

Question

[Родион Юрченко]

Добрый день
Стоит задача парсить сайты
Но вечная проблема с js скриптами - а минно получение результата их работы
В нэте все примеры парсеров / библиотеки и т д парсят состояние страницы ДО того как отработали скрипты
Есть ли какие либо инструменты чтобы получать страницу с уже отработавшими скриптами, когда они все подгрузили / построили, и т д
Спасибо )

Answer 1

[RidgeA]

Chrome headless
Можно сразу puppeteer

Answer 2

[Evgen]

Splash от scrapinghub: https://splash.readthedocs.io/en/stable/