Парсинг динамических сайтов на python?

Question

[Anthony228357]

Добрый день, я пытаюсь парсить сайт юла ну с помощью python.Он динамический,поэтому я использую selenium.Но жаркая библиотека слишком медленная,есть ли более быстрые аналоги для этой цели.Если у кого то есть опыт парсера данного сайта, то пожалуйста помогите.

Comments

[ScriptKiddo]

Я вчера к ним офис ездил на Лесную, попросил на флешку скинуть все данные. Скинули, доволен. Так что можно не парсить

Answer 1

[soremix]

Данные не берутся из воздуха. Открывайте F12->Network и смотрите с какого запроса они приходят

Answer 2

[Daniil]

Все это надстройки над вебдрайвером. Быстрее не будет. Динамические сайты парсятся строго уникально и долго. Хотя долго понятие растяжимое. Для тебя это сколько? Вот парсил твиты вне апи. 150 твитов около 1-5 секунд и ещё зависит от подгрузки данных, тк Твиттер за раз даёт около 12 твитов.

Answer 3

[Alexej Simakov]

Не нужно задавать новый вопрос по той же теме (https://qna.habr.com/q/803841), ответы от этого лучше не станут, Вас просто в худшем случае забанят.

Возьмем Ваш пример со ссылкой: https://youla.ru/moskva/zhenskaya-odezhda/aksessua...
Не знаю как Вы смотрите через консоль разработчика, но нужно смотреть вкладку Network, там все ресурсы указаны.
Выбираю из списка ресурсов изображение, и смотрю вкладку headers (заголовки запроса) там указано например
https://cache3.youla.io/files/images/160_160_out/5...
Так же в списке файлов можно найти ссылку на api например
https://api.youla.io/api/v1/products/59edaaaabd36c...
и такую
https://api.youla.io/api/v1/texts?app_id=web%2F2&u...

Или пользуйтесь сторонним неофициальным API https://rest-app.net/api-youla (чего бы я вам сильно не рекомендовал. Вы передаете свои данные авторизации в чужие руки, а судя по ограничению на количество запросов, они просто юзают вышеназванную апи сайта.)

Comments

[Anthony228357]

Хорошо, спасибо,но я все не могу найти,откуда из api берется информация о конкретном товаре(номер,описание и т.д.).Пока что я нашел только откуда берутся данные по городам.

[Alexej Simakov]

Anthony228357,
Ну вот находим эту сслылку
https://api.youla.io/api/v1/product/5ef79452415be9...
пробуем сам продукт (без функции похожие)
https://api.youla.io/api/v1/product/5ef79452415be9...
там в поле description написан текст: "Сумка Furla на плечевом ремне. Оригинал, натуральная кожа"
что и есть описание.

Кстати в Файрфоксе еще удобнее, он json сразу в структуре показывает, и unicode сам декодирует. Копайтесь, API не публичная так-что тут только "методом тыка". Но "тыкать" за вас никто не будет.