Не могу получить значение при парсинге сайта?

Question

[Davidd2008]

вот код

import requests 
import lxml
from bs4 import BeautifulSoup

url="https://steamcommunity.com/market/listings/730/Snakebite%20Case"

responce=requests.get(url).text
soup=BeautifulSoup(responce,"lxml")


block=soup.find('div',id='market_commodity_buyrequests')
block2=block.find('span',class_='market_commodity_orders_header_promote')
print(block2)

input()

почему он выводит
None?

Answer 1

[soremix]

Потому что данные загружаются динамически. Открывайте F12->Network, фильтруйте по XHR и смотрите, какие запросы отправляются и какие данные приходят

Comments

[Davidd2008]

и как распарисить?)

Answer 2

[Evgeniy _]

Почему None?

Потому, что в div "market_commodity_buyrequests" нет span класса "market_commodity_orders_header_promote"

Comments

[Davidd2008]

[Davidd2008]

import requests 
import lxml
from bs4 import BeautifulSoup

url="https://steamcommunity.com/market/listings/730/Snakebite%20Case"

responce=requests.get(url).text
soup=BeautifulSoup(responce,"lxml")


block=soup.find('div',class_='market_commodity_order_summary')
block2=block.find('span',class_='market_commodity_orders_header_promote')
print(block2)
input()

[Evgeniy _]

То, что вы приводите в пример - это html код страницы, которую вы видите в браузере. В Стиме контент подгружается динамически. requests не умеют динамику загружать - это я и написал. Там див market_commodity_order_summary пустой.
Поэтому что-бы работало - подключайте selenium.

[Davidd2008]

Evgeniy _, ок, можете пожалуйста скинуть пример кода как парсить через selenium?

[Davidd2008]

Evgeniy _, реализовал вот так
autoprice = driver.find_element_by_xpath('//*[@id="market_commodity_buyrequests"]/span[2]').text