Как парсить re:store?

Question

[Abraham lary]

Хочу получить названия товаров, их категорию и данные. При запросе html получаю, что-то непонятное. Что делать?

Код:

import requests
from bs4 import BeautifulSoup

HEADERS = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.84 Safari/537.36'}

def get_data():
    response = requests.get(url=f'https://re-store.ru/apple-mac/', headers=HEADERS)
    html = response.text
    soup = BeautifulSoup(html, 'lxml')
    items = soup.find('div', {'class': 'catalog-items'})
    return items

print(get_data())

Получил: None

При запросе html получаю:
view-source:https://re-store.ru/apple-mac/

Comments

[Andrey]

контент страницы сформирован динамически
bs не выполняет javascript

source не содержит catalog-items

[AVKor]

https://qna.habr.com/help/rules, 3.8.

Answer 1

[AVKor]

response = requests.get(url=f'https://re-store.ru/apple-mac/', headers=HEADERS)

Зачем тут f-строка?

items = soup.find('div', {'class': 'catalog-items'})

На странице нет div с таким классом.

И там весь контент на яваскриптах.