@Anthony228357

Парсинг динамических сайтов на python?

Добрый день, я пытаюсь парсить сайт юла ну с помощью python.Он динамический,поэтому я использую selenium.Но жаркая библиотека слишком медленная,есть ли более быстрые аналоги для этой цели.Если у кого то есть опыт парсера данного сайта, то пожалуйста помогите.
  • Вопрос задан
  • 2964 просмотра
Решения вопроса 3
SoreMix
@SoreMix Куратор тега Python
yellow
Данные не берутся из воздуха. Открывайте F12->Network и смотрите с какого запроса они приходят
Ответ написан
Комментировать
TchernyavskD
@TchernyavskD
Formoshlep
Все это надстройки над вебдрайвером. Быстрее не будет. Динамические сайты парсятся строго уникально и долго. Хотя долго понятие растяжимое. Для тебя это сколько? Вот парсил твиты вне апи. 150 твитов около 1-5 секунд и ещё зависит от подгрузки данных, тк Твиттер за раз даёт около 12 твитов.
Ответ написан
Комментировать
lxsmkv
@lxsmkv
Test automation engineer
Не нужно задавать новый вопрос по той же теме (https://qna.habr.com/q/803841), ответы от этого лучше не станут, Вас просто в худшем случае забанят.

Возьмем Ваш пример со ссылкой: https://youla.ru/moskva/zhenskaya-odezhda/aksessua...
Не знаю как Вы смотрите через консоль разработчика, но нужно смотреть вкладку Network, там все ресурсы указаны.
Выбираю из списка ресурсов изображение, и смотрю вкладку headers (заголовки запроса) там указано например
https://cache3.youla.io/files/images/160_160_out/5...
Так же в списке файлов можно найти ссылку на api например
https://api.youla.io/api/v1/products/59edaaaabd36c...
и такую
https://api.youla.io/api/v1/texts?app_id=web%2F2&u...

Или пользуйтесь сторонним неофициальным API https://rest-app.net/api-youla (чего бы я вам сильно не рекомендовал. Вы передаете свои данные авторизации в чужие руки, а судя по ограничению на количество запросов, они просто юзают вышеназванную апи сайта.)
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы