Почему парсятся только первые четыре товара в озон?

Question

[xaxa_durak]

Нужно отпарсить все товары находящиеся на странице, но почему-то парсятся только четыре. Помогите пожалуйста

import requests
from bs4 import BeautifulSoup
from fake_useragent import UserAgent
#Mozilla/5.0 (Linux; Андроид 11; SM-G981W) AppleWebKit/537.36 (KHTML, как Gecko) Chrome/88.0.4324.152 Мобильный Safari/537.36
#
url = 'https://www.ozon.ru/category/bytovaya-himiya-36861/'

response = requests.get(url, headers={'User-Agent': UserAgent().chrome})
src = response.text

soup = BeautifulSoup(src, "lxml")
blocks = soup.findAll(class_ = "bh6 bi")
for block in blocks:
    product_url = block.find("div", class_ = "bi1").find("a").get("href")
    print(product_url)

Comments

[kisaa]

Потому что в исходном коде указанной страницы только 4 div'а с классом "bh6 bi". Вы выводите по одному урлу из каждого блока. Получается 4 урла. Всё логично.

[xaxa_durak]

kisaa, нет, в коде элемента их гораздо больше

[kisaa]

xaxa_durak, уточню - в коде веб-страницы, отдаваемой сервером по указанному вами адресу, их ровно 4:

[xaxa_durak]

А как тогда парсить? Есть какие-нибуть видео уроки по этой теме, буду благодарен.

[kisaa]

xaxa_durak, смотрите исходный код страницы. Там здоровенный JSON, в котором всё перечислено:



54 товара - 12 рекомендаций вверху, основная сетка 4*9, и 6 рекомендаций внизу. И это только первая страница )

[xaxa_durak]

спасибо

Answer 1

[Владимир Куц]

Потому что остальные лежат там в json. Который оттуда можно вытянуть, - да распарсить...

import json
import re
json_dump = re.search(r'JSON.parse\(\'({.*})?\'\)', src)

Comments

[arsenaljek]

а Вы можете подсказать, как его вытянуть и распарсить?

[Владимир Куц]

arsenaljek, я, собственно - подсказку и дал. Готовый код пообъемней и тянет на выполнение задания, что тут не приветствуется.