Как догрузить необходимые для парсинга JS элементы с сайта?

Question

[n4ural]

Пытаюсь парсить wildberries через selenium
Изначально сразу искал блок второго класса, но просто вылетала ошибка по таймауту
Потом решил сначала проверить загрузку элемента в верх по ветке - и с ним оказалось все хорошо.
Не понимаю, как заставить загружаться нужный элемент.

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By


chrome_options = Options()
chrome_options.add_argument("--disable-extensions")
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')

driver = webdriver.Chrome(options=chrome_options)

driver.get("https://www.wildberries.ru/catalog/0/search.aspx?sort=popular&search=ollin")
page = driver.page_source

try:
    prodPageDealLength = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CLASS_NAME, 'product-card-list'))
    )
    print(prodPageDealLength)
    prodPageDealLength = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CLASS_NAME, 'product-card j-card-item j-good-for-listing-event'))
    )
    print(prodPageDealLength)
    print(driver.find_element(By.CLASS_NAME,"product-card-list"))

finally:
    driver.quit()

Comments

[JRBRO]

Как у Вас выглядит инспектор, когда Вы только заходите на страницу? Он видит этот элемент, либо он появляется со второй инспекцией?

[n4ural]

JRBRO, Если честно, не совсем понимаю, что такое инспектор и как его проверить

[JRBRO]

Вы когда нужный элемент ищите в консоли, он там виден если вы откроете консоль в любом свободном месте(не делая инспект этого элемента)?

[n4ural]

JRBRO, Да, они видны

Answer 1

[Денис Шавалеев]

Страница сайта скорее всего генерируется автоматически при помощи JS, сами скрипты тянут данные отсюда, ну а дальше скрипт JS парсит полученный словарь и динамически заполняет блоки нужными полями.

Частично что выдает результатом такой запрос

{
  "state":0,
  "data":
    {
      "products":
        [
          {"id":6583968,"root":5214366,"kindId":0,"subjectId":436,"subjectParentId":49,"name":"Спрей","brand":"Ollin Professional","brandId":11981,"siteBrandId":21981,"sale":24,"priceU":85100,"salePriceU":64600,"pics":8,"rating":5,"feedbacks":32767,"colors":[],"sizes":[{"name":"","origName":"0","rank":0,"optionId":23181493}],"diffPrice":false},
          {"id":3861036,"root":3198966,"kindId":0,"subjectId":358,"subjectParentId":49,"name":"Шампунь","brand":"Ollin Professional","brandId":11981,"siteBrandId":21981,"sale":24,"priceU":111400,"salePriceU":84600,"pics":8,"rating":4,"feedbacks":3586,"colors":[],"sizes":[{"name":"","origName":"0","rank":0,"optionId":14625839}],"diffPrice":false},
          {"id":7052045,"root":5547739,"kindId":0,"subjectId":372,"subjectParentId":49,"name":"Сыворотка","brand":"d'Alba","brandId":26057,"siteBrandId":36057,"sale":25,"priceU":370000,"salePriceU":277500,"pics":15,"rating":4,"feedbacks":2175,"colors":[],"sizes":[{"name":"","origName":"0","rank":0,"optionId":24472815}],"diffPrice":false},
          {"id":3860934,"root":3198957,"kindId":0,"subjectId":364,"subjectParentId":49,"name":"Флюид","brand":"Ollin Professional","brandId":11981,"siteBrandId":21981,"sale":24,"priceU":98400,"salePriceU":74700,"pics":8,"rating":5,"feedbacks":6549,"colors":[],"sizes":[{"name":"","origName":"0","rank":0,"optionId":14625737}],"diffPrice":false}
          ]
    }
}

Заголовки запроса

User-Agent: Любой UA браузера
Accept: */*
Accept-Language: ru-RU,ru;q=0.8,en-US;q=0.5,en;q=0.3
Accept-Encoding: gzip, deflate, br
Origin: https://www.wildberries.ru
Connection: keep-alive
Referer: https://www.wildberries.ru/
Sec-Fetch-Dest: empty
Sec-Fetch-Mode: cors
Sec-Fetch-Site: cross-site

А вообще, вкладка "сеть" инспектора кода, очень полезная вещь. Особенно когда работаешь с парсингом страниц.
Делаешь GET запрос по приложенной ссылке с указанными заголовками. Получаешь в формате json ответ. Далее просто в циклах перебираешь элементы и берешь нужные тебе данные. Касаемо ссылки часть где передаются id товаров - получение этих id лучше тоже автоматизировать и подмешивать полученный результат в адрес.
И не забывай, если часто с одного и того же IP-адреса будут лететь запросы в сторону сайта или API, то скорее всего попадешь в бан-лист сайта.