Всем привет!
Появилась таска - распарсить один интернет-магазин, да вот незадача: при get-запросе на URL нужного мне товара прилетает JS-скрипт, а не HTML-страница с информацией. На основе данного скрипта формируются другие запросы, исходя из которых будет построена HTML-страница.
Я работаю с Python и, если честно, не очень то могу в JavaScript, поэтому мне сложно понять, как именно собирается нужная мне HTML-ка..
Пока-что пришёл к такому решению: через Selenium поднимать браузер в headless-режиме, рефрешить страницу через таймауты, пока в DOM не появятся нужные элементы, на которые я завяжусь. Это очень долго и не очень надёжно, а сервис, который я делаю, подразумевает получение данных по запросу сразу после ввода линка на товар, поэтому тут бы идеально подошло решение с простыми http-запросами к серваку магазина, а не танцы с Селениумом.
Вот пример товара из нужного мне магазина:
https://shop.nordstrom.com/s/natori-pure-luxe-unde...
Да, магаз не доступен из многих стран, поэтому лучше заходить через американский или сингапурский прокси.
Моя задача получить готовую HTML с инфой о данном товаре и уже её парсить. Что посоветуете? Можно ли реализовать это минуя Селениум?
З.Ы. В Гугле уже был (2 дня там рыскаю, пока безрезультатно). Пожалуйста, расскажите, как вы решаете задачи парсинга динамических страниц.
Простой
Простой
