Почему selenium не видит рекламу на сайте?

Question

[Любитель поиграть в самолёты]

Привет, вот такая структура:


Selenium видит только

<div id="yandex_rtb_R-A-2602770-3"><div></div></div>

, а что находится внутри - он не видит. В том числе там ничего нету и в driver.page_source.

Как я понимаю проблема в теневом DOM, но погуглив, я не очень понял как с ним работать.

Задача в том что бы найти в данном div первую ссылку и скопировать.

Comments

[Михаил Р.]

driver.execute_script('return document.querySelector("div#yandex_rtb_R-A-2602770-3").shadowRoot.querySelector("a").href')

Что возвращает?

[Модератор]

Нарушение п.3.8 Регламента. Скриншоты фрагментов кода запрещены.

[Алан Гибизов]

Если нет кода python, не ставьте тэг python.

[Любитель поиграть в самолёты]

Модератор, не хочу спорить с модераторами, но мне кажется людям было бы не удобно читать HTML код на несколько тысяч символов с кучей ненужной инфы. Тем более я скинул не код, а структуру HTML div'а)

[Любитель поиграть в самолёты]

Михаил Р.,

Traceback (most recent call last):
  File "<string>", line 1, in <module>
  File "/Users/lev/Desktop/PY/ad_viewer/.venv/lib/python3.9/site-packages/selenium/webdriver/remote/webdriver.py", line 404, in execute_script
    return self.execute(command, {"script": script, "args": converted_args})["value"]
  File "/Users/lev/Desktop/PY/ad_viewer/.venv/lib/python3.9/site-packages/selenium/webdriver/remote/webdriver.py", line 344, in execute
    self.error_handler.check_response(response)
  File "/Users/lev/Desktop/PY/ad_viewer/.venv/lib/python3.9/site-packages/selenium/webdriver/remote/errorhandler.py", line 229, in check_response
    raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.JavascriptException: Message: javascript error: Cannot read properties of null (reading 'querySelector')

[Модератор]

Любитель поиграть в самолёты, Фрагменты кода надо размещать в виде текста и оборачивать тэгом code для корректного отображения. Удобно делать кнопкой </>
Это обязательно, см.п.3.8 Регламента.
Сюда же относится traceback, ввод и вывод в консоли и другая структурированная текстовая инфа.

[Любитель поиграть в самолёты]

Модератор, исправил)

[сергей кузьмин]

Любитель поиграть в самолёты, Задача которою ваш код что то не может решить в том что бы найти shadow root в элементе.
селениум умеет shadow root довольно давно
https://habr.com/ru/companies/simbirsoft/articles/...

[Любитель поиграть в самолёты]

сергей кузьмин, вот код из статьи:

shadow_host = driver.find_element_by_css_selector('#shadow_host')

shadow_root_dict = driver.execute_script('return arguments[0].shadowRoot', shadow_host)
shadow_root_id = shadow_root_dict['shadow-6066-11e4-a52e-4f735466cecf']
shadow_root = WebElement(driver, shadow_root_id, w3c=True)

shadow_content = shadow_root.find_element_by_css_selector('#shadow_content')

Я его переписал на Selenium 4 и он ломается на первой же строке:

shadow_host = driver.find_element(By.CSS_SELECTOR, '#shadow_host')

Traceback (most recent call last):
  File "<string>", line 1, in <module>
  File "/Users/lev/Desktop/PY/ad_viewer/.venv/lib/python3.9/site-packages/selenium/webdriver/remote/webdriver.py", line 738, in find_element
    return self.execute(Command.FIND_ELEMENT, {"using": by, "value": value})["value"]
  File "/Users/lev/Desktop/PY/ad_viewer/.venv/lib/python3.9/site-packages/selenium/webdriver/remote/webdriver.py", line 344, in execute
    self.error_handler.check_response(response)
  File "/Users/lev/Desktop/PY/ad_viewer/.venv/lib/python3.9/site-packages/selenium/webdriver/remote/errorhandler.py", line 229, in check_response
    raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"css selector","selector":"#shadow_host"}
  (Session info: chrome=117.0.5938.132); For documentation on this error, please visit: https://www.selenium.dev/documentation/webdriver/troubleshooting/errors#no-such-element-exception

[сергей кузьмин]

для того чтобы определить что суп пересолен достаточно одной ложки

но к программированию это не относится
сайт и код полностью покажите

[Любитель поиграть в самолёты]

сергей кузьмин, https://podoq.ru - нижний рекламный блок

from selenium.webdriver.common.by import By
from time import sleep
from selenium.webdriver.chrome.service import Service as ChromeService
from webdriver_manager.chrome import ChromeDriverManager
from selenium import webdriver


driver = webdriver.Chrome(service=ChromeService(ChromeDriverManager().install()))

print("Браузер запускается, подождите немного")

try:
    driver.get(url="https://podoq.ru")
    sleep(7)
    for _ in range(1, 9):
        driver.execute_script("window.scrollBy(0,document.body.scrollHeight)")
        sleep(1)
    sleep(4)
    print(link)
except Exception as e:
    print(e)
finally:
    driver.quit()

[сергей кузьмин]

когда запущен под селениумом браузер вообще не видит ни одного
"//div[contains(@id, 'yandex')]"
на https://podoq.ru

если вы обладаете кодом который их видит с него начинайте

[Любитель поиграть в самолёты]

сергей кузьмин, к сожалению таким не обладаю

[сергей кузьмин]

вопрос закрыт

podoq.ru - сложно

[Любитель поиграть в самолёты]

сергей кузьмин, а если пробовать тыкать на кнопку открытия рекламы с помощью pyautogui? Возможно такое?

[сергей кузьмин]

често говоря дался вам именно этот элемент ?

на этом сайте думаю много как можно ссылки скрейпить
из академического интереса я поковырялся с этим сайтом но никак не получил данных из #shadow-root

expression = "document.querySelector('#yandex_rtb_R-A-2602770-3').shadowRoot";

{"result":{"subtype":"null","type":"object","value":null}}

автоматизировть гуй весьма накладно

Answer 1

[ab1]

Там ShadowDom -> Closed а не Opened
пример с пояснением
stackoverflow.com/questions/71282237/how-to-click-button-inside-shadow-root-closed-using-selenium-and-python

Примерно так c селениумом 4 и cdp_cmd

driver = webdriver.Chrome(service=ChromeService(ChromeDriverManager().install()))
print("Браузер запускается, подождите немного")
try:
    
    driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', {'source': """
    Element.prototype._attachShadow = Element.prototype.attachShadow;
    Element.prototype.attachShadow = function () {
        return this._attachShadow( { mode: "open" } );
    };
    """})
    driver.get(url="https://podoq.ru")
    sleep(3)


    for _ in range(1, 7):
        driver.execute_script("window.scrollBy(0,document.body.scrollHeight)")
        sleep(1)


    shadow_host=driver.find_element(By.XPATH,'//footer//div[contains(@id,"yandex_rtb")]/div')
    shadow_root_a_els = driver.execute_script('return arguments[0].shadowRoot.querySelectorAll("a");', shadow_host)
    for shadow_root_a_el in shadow_root_a_els:
        print(f"{shadow_root_a_el.text} {shadow_root_a_el.get_attribute('href')}")

except Exception as e:
    print(e)
    raise
finally:
    driver.quit()

Браузер запускается, подождите немного
https://yandex.ru/an/count/WU0ejI_zOoVX2LcN0PKE06EPOIO...
karo.spb.ru https://yandex.ru/an/count/WU0ejI_zOoVX2LcN0PKE06EPOIOQb...
Монтгомери. Энн из Авонлеи. Английский без сокращений https://yandex.ru/an/count/WU0ejI_zOoVX2LcN0PKE06EPOIOQb....
Доставка по всей России • Напрямую от издательства • Есть электронная вер...