Хочу научиться парсить динамические веб сайты через питон. Уже научился использовать Requests и Selenium с undetected_chromedriver, но есть проблема. Написал скрипт на питоне с использованием селениум, но понял что эмуляция браузера как-то затратно по ресурсам если на каком-нибудь бесплатном сервере разворачивать. Есть ли способ парсить динамические сайты без эмуляции браузера? Подскажите в какую строну двигаться и что стоит лучше изучать для парсинга либо посоветуйте статью, видео и т.п. где можно узнать как качественно парсить сайты.
- Либо анализ http запросов и попытка обращения напрямую к ним - dynamic web page scraping with python, средняя сложность, максимальная производительность, легко вычисляется.
- Либо Chrome DevTools Protocol (zendriver) - высокая сложность, средняя производительность, тяжело вычисляется.
- Либо Selenium, простая сложность, минимальная производительность, легко вычисляется.
Не всегда, но в большинстве случаев можно ручками проанализировать куда и как javascript-код делает запросы, а потом просто повторить их в python-коде парсера.