Как парсить карточку товара Wildberries на python?

Question

[Михаил]

requests.get() не может получить страницу aspx
и приходит только ее шаблон. Как быть, если выводится только малая часть страницы?

url = 'https://www.wildberries.ru/catalog/16773451/detail.aspx?targetUrl=RG'
response = requests.get(url, headers=headers)
soup = BeautifulSoup(html, 'html.parser')
print(soup)

Answer 1

[shurshur]

Потому что в странице и правда нет этой информации, она потом рендерится с помощью js. Решать так же, как и всегда: либо с помощью Selenium, либо разобраться, что как js получает данные, и достать их самому.

Comments

[Михаил]

Если я правильно понимаю, то Selenium не вариант, так как он при каждой загрузке страницы открывает Chrome, и при большом количестве запросов будет очень долго и ресурсоемко или я не прав?
В какую сторону капать при попытке разбора того как js получает данные?

[shurshur]

Михаил, вообще-то нет, он запускает браузер при инициализации веб-драйвера. Но, конечно, держать запущенным целый браузер неприятно.

Копать в сторону анализа запросов, которые делает браузер на этой странице, к чтению js-кода на ней... В зависимости от хитровывернутости программеров этого сайта всё может быть от "данные лежат в json прям в тексте страницы" до "данные получаются из вебсокетов, зашифрованные каким-нибудь криптографическим алгоритмом с необычными параметрами"..