Почему возвращается None при парсинге?

Question

[StrangeDylan]

Нужно парсить курс биткоина в реальном времени. При выполнении кода возвращается None, хотя класс такой на странице есть и прогружается он сразу.

import requests
from bs4 import BeautifulSoup

url = 'https://www.tradingview.com/symbols/BTCUSD/?utm_campaign=tickers&utm_medium=widget&utm_source=xn----dtbfdbwspgnceulm.xn--p1ai'

HEADERS = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.128 Safari/537.36 OPR/75.0.3969.259'}

source_code = requests.get(url, headers=HEADERS)
soup = BeautifulSoup(source_code.text, 'html.parser')
bitcoin_curse = soup.find('label', {'class': 'tab-HYHP1WHx tabSelected-HYHP1WHx'})
print(bitcoin_curse)

Comments

[Yupiter7575]

{'class': 'tab-HYHP1WHx tabSelected-HYHP1WHx'}

Вы уверены что это так работает? попробуйте написать это так же только через attrs=

в bs лучше указать вторым атрибутом features='lxml'

И вообще покажите пример html файла

[StrangeDylan]

Yupiter7575, Да, это работало с другими сайтами. если вместо этого писать class_= 'tab-HYHP1WHx tabSelected-HYHP1WHx' то тоже возвращает None.
Под html файлом как я понимаю вы имеете ввиду всю страницу? Ее я отправить не могу, поскольку превышаю лимит

[StrangeDylan]

Yupiter7575, https://pastebin.com/DmzdKuYa

[StrangeDylan]

Во всей странице нет того кода который я пытаюсь спарсить, почему такое может быть?

[Yupiter7575]

StrangeDylan, судя по названию сайта, стили тут добавляются динамически. И могу подкрепить это тем что данный класс в вашей ссылке я не нашел

[Yupiter7575]

StrangeDylan, Обычно такие названия классов даются конструкторами сайтов что бы не было повторений.

Answer 1

[soremix]

хотя класс такой на странице есть и прогружается он сразу

Нет его там. Даже визуально видно, что он не сразу появляется. Данные приходят по wss

wss://data.tradingview.com/socket.io/websocket?from=symbols%2FBTCUSD%2F&date=2021_05_06-10_12

Однажды парсил tradingview по заказу, можно было получать валюты через https://scanner.tradingview.com/crypto/scan пары BINANCE:BTCUSDT и BINANCE:BTCRUB. Понятия не имею как там сейчас дела, но лучше искать другой сайт для курса