Почему пустой вывод при парсинге на python?

Question

[Любитель поиграть в самолёты]

У меня есть простой парсер:

import requests
from bs4 import BeautifulSoup

URL = 'https://www.dns-shop.ru/search/?q=%D0%BA%D0%BE%D0%BD%D1%81%D0%BE%D0%BB%D0%B8&stock=soft'
HEADERS = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.61 Safari/537.36',
    'accept': '*/*'
}

def get_html(url, params=None):
    r = requests.get(url, params=params, headers=HEADERS)
    return r
def parse():
    html = get_html(URL)
    soup = BeautifulSoup(html.text, 'html.parser')
    items = soup.find_all('div', class_='catalog-product')
    print(items)

parse()

Но он выводит [ ]

Где я накосячил?

Answer 1

[alexbprofit]

Контент генерится js'ом используй Selenium или ищи тот запрос который браузер шлет на сервер и повторяй его

Comments

[Любитель поиграть в самолёты]

Если распечатать html.text то можно получить html код страницы. А именно его я передаю для парсинга

[soremix]

Python Новичок, и есть в этом коде упоминание catalog-product ?

[Любитель поиграть в самолёты]

soremix, нету. Это только так на сайте DNS или везде?

[Vindicar]

Python Новичок, ещё раз...
То, что ты получаешь от requests - это исходный код страницы.
Он потом изменяется JS-кодом, который выполняет бразуер. А этот JS-код берёт данные, выполняя ещё один запрос к сайту, и подставляет их на страницу. Это очень частый приём.

У тебя есть два варианта:
1. Выполнить JS код, а потом уже искать элемент на странице. Нужен полноценный браузер, так что selenium тебе в руки.
2. Определить, какой запрос делает JS код, сделать его самостоятельно, и вытащить данные оттуда.

Answer 2

[origami1024]

В хедерах нужно выставить сгенерированные скриптом куки.
Если заходишь без кук, то сервер по любому адресу отдает страничку со скриптом генерации кук.

Comments

[Любитель поиграть в самолёты]

А как их получить?

[origami1024]

Проще всего видимо этот скрипт генерации запустить и забрать результат работы, но чтоб он отработал вне браузера, нужно сделать надувной window и методы браузера, что он юзает, типа setCookies.
Чтобы из питона поюзать js - напрмер вот https://pypi.org/project/Js2Py/, юзай eval_js().

Но там могут еще подводные камни всплыть, помимо проработки запуска этого js-а, раз такой вопрос задаешь, видимо тебе проще будет на базе Selenium что-то накидать.