Почему парсер ничего не выдаёт?

Question

[YeaNot]

Нужно запарсить стоимость товара на его странице Ozon, но с неё совсем ничего не извлекается:

request = requests.get('https://www.ozon.ru/product/holodilnik-indesit-tia-180-belyy-277079362/', HEADERS)
page = BeautifulSoup(request.content, 'lxml')
print(page)

Почему? И что делать в такой ситуации?

Comments

[Влад Григорьев]

Потому, что как и много где происходит до загрузка данных средствами js, request - само собой js кож не выполняет.
Вариантов два:
1. разбираться что там происходит и до загружать данные выполняя те же запросы.
2. использовать селениум или аналоги

Answer 1

[Даниил Рыжов]

Добавьте в headers ключ 'User-Agent'
Например
'User-Agent': 'PostmanRuntime/7.28.1'

Пример кода

import requests
from bs4 import BeautifulSoup
import lxml
url = "https://www.ozon.ru/product/holodilnik-indesit-tia-180-belyy-277079362/"

payload = {}
headers = {
    'User-Agent': 'PostmanRuntime/7.28.1',
    'Cookie': 'ЗДЕСЬ КУКИ'}

response = requests.request("GET", url, headers=headers, data=payload)

page = BeautifulSoup(response.content, 'lxml')
print(page)

цену нашел только в этом элементе

спойлер

<div id="state-webPrice-836055-default-1"
					data-state='{"isAvailable":true,"price":"17 990 ₽","originalPrice":"20 390 ₽","showOriginalPrice":true,"mode":"credit","payment":"1 799 ₽","paymentTerm":"12 мес","hintLink":"https:\u002F\u002Fwww.ozon.ru\u002Fsection\u002Fcredit\u002F","hintText":"Приблизительный расчет. Платеж зависит от срока и типа кредитного продукта"}'>

Comments

[YeaNot]

user-agent был, сейчас мой код стал работать (почему-то, я его не трогал), но как попало - то покажет цену, то опять ничего. Так же и твой код работает