Задать вопрос
@GhostTM

Как парсить динамические сайты на python?

Хочу научиться парсить динамические веб сайты через питон. Уже научился использовать Requests и Selenium с undetected_chromedriver, но есть проблема. Написал скрипт на питоне с использованием селениум, но понял что эмуляция браузера как-то затратно по ресурсам если на каком-нибудь бесплатном сервере разворачивать. Есть ли способ парсить динамические сайты без эмуляции браузера? Подскажите в какую строну двигаться и что стоит лучше изучать для парсинга либо посоветуйте статью, видео и т.п. где можно узнать как качественно парсить сайты.
  • Вопрос задан
  • 214 просмотров
Подписаться 1 Простой Комментировать
Решения вопроса 1
Mike_Ro
@Mike_Ro
Python, JS, WordPress, SEO, Bots, Adversting
- Либо анализ http запросов и попытка обращения напрямую к ним -
dynamic web page scraping with python, средняя сложность, максимальная производительность, легко вычисляется.
- Либо Chrome DevTools Protocol (zendriver) - высокая сложность, средняя производительность, тяжело вычисляется.
- Либо Selenium, простая сложность, минимальная производительность, легко вычисляется.
Ответ написан
Комментировать
Пригласить эксперта
Ответы на вопрос 2
sergey-gornostaev
@sergey-gornostaev
Седой и строгий
Не всегда, но в большинстве случаев можно ручками проанализировать куда и как javascript-код делает запросы, а потом просто повторить их в python-коде парсера.
Ответ написан
Комментировать
@Everything_is_bad
Есть ли способ парсить динамические сайты без эмуляции браузера?
есть, но при условии что эти данные можно получить через апи, который доступен, изучай вкладку "Сеть" в инструментах разработчика.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы