BS не видит классы при парсинге?

Question

[Данил Нескажу]

Пытаюсь парсить сайт при помощи BS4 и requests.
C сайта с запросом в поисковик: https://steambuy.com/catalog/?q=PUBG
Нужно получить ссылку на страницу 1 результата поиска. Но BS почему-то не видит нужного класса?
Что не так с кодом или с сайтом?

import requests
from bs4 import BeautifulSoup as BS 
game = 'PUBG'
START='https://steambuy.com/catalog/?q='
HOST='https://steambuy.com'
URL=START+game
def get_html(url):
    search= requests.get(url)
    return search


def get_content(html):
    soup = BS(html,'html.parser')
    item = soup.find('a',class_='product-item__title-link').get('href')
    return item

def parse(url):
    html= get_html(url)
    if html.status_code == 200:
        a = get_content(html.text)
        print(a)
    else:
        pass
parse(URL)

Answer 1

[Сергей Карбивничий]

Добавлено:

import requests
import json
from bs4 import BeautifulSoup as BS 

headers = {'X-Requested-With':'XMLHttpRequest'}
url = 'https://steambuy.com/ajax/_get.php?rnd=0.7101602294952999&offset=0&region_free=0&sort=cnt_sell&sortMode=descendant&view=extended&a=getcat&q=PUBG&series=&izdatel=&currency=wmr&curr=&currMaxSumm%5Bwmr%5D=3000&currMaxSumm%5Bwmz%5D=100&currMaxSumm%5Bwme%5D=70&currMaxSumm%5Bwmu%5D=1000&letter=&limit=0&page=1&minPrice=0&maxPrice=5000&minDate=0&maxDate=0&deleted=0&no_price_range=0&records=14'

response = requests.get(url,headers=headers)
soup = BS(json.loads(response.text)['html'],'html.parser')
items = soup.find_all('a',class_='product-item__title-link')
for item in items:
	print('https://steambuy.com'+item.get('href'))

На выходе:

https://steambuy.com/steam/playerunknown-s-battleg...
https://steambuy.com/steam/playerunknowns-battlegr...

Конечно не можете найти, так как результаты подгружаются с другого адреса:

https://steambuy.com/ajax/_get.php+много параметров

Comments

[Данил Нескажу]

Спасибо. А парсер может сам найти аякс запрос без моего участия?
Есть такие функции или методы в реквест или бс?
Или все-же в ручную придется искать?

[Andrey_Dolg]

Данил Нескажу, Конечно может, но для этого нужен совсем другой парсер и другие инструменты.

[Данил Нескажу]

Andrey_Dolg, Можете сказать, какие?

[Andrey_Dolg]

Данил Нескажу, Вам это врят ли поможет но называется это selenium-shark и позволяет эмулировать браузер и изучать запросы которые отправляет страница при загрузке. Аналогичное можно сделать через browser extension но там мороки чутка больше получается.
Но это всё не то чего вы хотите. Вам хочется полный рендеринг страницы без гемороя это автоматизация браузера и как следствие обычно решается через selenium или phantomjs в headless режиме.

Answer 2

[Amigun]

Не могу утверждать, но возможно те данные, которые тебе нужны, добавляются на страницу динамически.
Библиотека requests получает лишь код странички, а с динамическими данными работать не может.
Как это проверить? Через тот же requests скачай запрашиваемую страничку и изучи её.
Если моя теория верна, то смотри в сторону selenium.