Python. Не могу спарсить тег цены в магазине «DNS». Можете помочь?

Question

[rusyska55011]

import requests
from bs4 import BeautifulSoup

def get_html(url):
    headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'}
    r = requests.get(url, headers = headers)
    return r.text

def get_elements(html, tag, class_name):
    soup = BeautifulSoup(html, 'html.parser')
    pages = soup.find_all(tag, class_= class_name)
    return pages

class DNS():
    html = get_html('https://www.dns-shop.ru/catalog/17a899cd16404e77/processory/order=1&groupBy=none&brand=amd&stock=2')
    price = get_elements(html, 'div', 'product-min-price__current')
    print(price)

DNS()

Выдается пустой список! Хотя класс тега указан правильно.


Если я попытаюсь собрать другой div, который находится на нескольких слоев пониже, то выведется подобное... Где оставльные слои, которые вложены в этот класс?



Это какая-то защита? Как ее обойти?

Answer 1

[Elvis]

Откройте для себя postman. Это удобный инструмент для выполнения запросов. И в нем отправьте запрос по ссылке что у вас. У меня возможности проверить сейчас нет, но думаю что на странице выполняется JS, который заполняет страницу нужными вам данными, а в python скрипте вы получаете сырые данные, без выполнения JS.
Почитайте про selenium, он поможет в таких случаях. Либо изучите какие запросы отправляет сайт и сымитируйте их.

Comments

[Gennady S]

Ну или смотреть исходник страницы: view-source:https://www.dns-shop.ru/... и парсить его, или обнаружить, как данные подгружаются.

Answer 2

[soremix]

Это ID, по которым потом выставляется цена. Цена погружается через POST на https://www.dns-shop.ru/ajax-state/min-price/

1. Открывайте Ctrl+U и смотрите что есть на странице
2. Открывайте F12-Network и смотрите откуда приходят цены и как они появляются

Comments

[rusyska55011]

1. На Ctrl+U блок с тегами цены скрыт, мне его не найти даже через поиск текста
2. Я новичок, поломал голову и не совсем понял как мне это узнать)

[soremix]

rusyska55011,
1. Он не скрыт, его нет. Цены рендерятся с помощью скриптов. Открывая просмотр элементов через F12 вы видите отрендеренную страницу в вашем браузере. Открывая исходный код (ctrl+u) вы видите тот же самый код, который приходит в ответе на запрос. Так что, если цены там нет - ее и не будет в ответе в скрипте.
2. Смотрите цену, например 1499 рублей. F12->Network. Включаете только XHR запросы. Ctrl+F -> 1499. Находите ответ в котором пришла эта цена, смотрите тип запроса, на какой url отправлен, какие параметры передавались

[rusyska55011]

SoreMix,
Открыл скрипт min-price.js, ничего не нашел и, получается, цены запарсить нельзя?