Как парсить динамические сайты на python?

Question

[GhostTM]

Хочу научиться парсить динамические веб сайты через питон. Уже научился использовать Requests и Selenium с undetected_chromedriver, но есть проблема. Написал скрипт на питоне с использованием селениум, но понял что эмуляция браузера как-то затратно по ресурсам если на каком-нибудь бесплатном сервере разворачивать. Есть ли способ парсить динамические сайты без эмуляции браузера? Подскажите в какую строну двигаться и что стоит лучше изучать для парсинга либо посоветуйте статью, видео и т.п. где можно узнать как качественно парсить сайты.

Answer 1

[Михаил Р.]

- Либо анализ http запросов и попытка обращения напрямую к ним -
dynamic web page scraping with python, средняя сложность, максимальная производительность, легко вычисляется.
- Либо Playwright (или https://github.com/stephanlensky/zendriver">zendriver) с использованием Chrome DevTools Protocol - высокая сложность, средняя производительность, тяжело вычисляется.
- Либо Playwright без CDP, простая сложность, минимальная производительность, легко вычисляется.

Answer 2

[Сергей Горностаев]

Не всегда, но в большинстве случаев можно ручками проанализировать куда и как javascript-код делает запросы, а потом просто повторить их в python-коде парсера.

Answer 3

[Everything_is_bad]

Есть ли способ парсить динамические сайты без эмуляции браузера?

есть, но при условии что эти данные можно получить через апи, который доступен, изучай вкладку "Сеть" в инструментах разработчика.

Comments

[GhostTM]

Тоесть если есть апи то используем его, а если нет то только эмуляцией?