Парсинг на Python Selenium. Как нажать на кнопку «Согласиться»?

Question

[AnKus]

Дан сайт :
https://www.firmy.cz/Auto-moto/Auto-moto-prodejci/...

Чтоб попасть в каталог, нужно согласиться с условиями (нажать "I agree").

Собираюсь искать инфу на с помощью Селена. Не ищет кнопку и соответственно не нажимает на нее.

Вот код:

from selenium import webdriver
import time
from selenium.webdriver.common.by import By

options = webdriver.ChromeOptions()
options.add_argument("start-maximized")

driver = webdriver.Chrome(options=options, executable_path=r"/home/akustov/PycharmProjects/pythonProject/chromedriver")

url = "https://www.firmy.cz/Auto-moto/Auto-moto-prodejci/Autobazary"
driver.get(url)
# time.sleep(5)

# button = driver.find_element(By.CSS_SELECTOR, 'div.scmp.scmp_Dialog-wrapper > div > div.scmp_Buttons-wrapper > button.scmp_Button.scmp_Button--intro-submit.scmp_Button--submit')
# button = driver.find_element(By.XPATH, '/html/body/div[20]//div[2]/div/div[2]/button[2]')
# button = driver.find_element(By.CLASS_NAME, 'scmp_Button--submit')
# button = driver.find_element(By.TAG_NAME, 'button-agree')
# time.sleep(5)
# button.click()

driver.quit()

Ошибка:

selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"tag name","selector":"button-agree"}
(Session info: chrome=103.0.5060.53)

Кнопка подгружается не сразу, поэтому поставил Слип

Answer 1

[Дмитрий]

Не надо в таких вещах использовать sleep.

element_to_be_clickable
https://selenium-python.readthedocs.io/waits.html

ставим условие пока элемент не становится кликабелен - потом жмем

Comments

[AnKus]

Нет. Уже ранее такой код был:

wait = WebDriverWait(driver, 10)
element = wait.until(EC.element_to_be_clickable((By.XPATH, '/html/body/div[20]//div[2]/div/div[2]/button[2]'))).click()

Выдавало ошибку:

raise TimeoutException(message, screen, stacktrace)
selenium.common.exceptions.TimeoutException: Message:
Stacktrace:
Backtrace:
Ordinal0 [0x00486463+2188387]
Ordinal0 [0x0041E461+1762401]
..................................................
RtlSubscribeWnfStateChangeNotification [0x76F81B69+1081]
RtlSubscribeWnfStateChangeNotification [0x76F81B34+1028]

[Дмитрий]

AnKus, Он не дождался - кнопка не появилась либо не стала кликабельной за 10 секунд что вы ей отмерили. Вы уверены что она появляется всегда? Я например кнопку не заметил.
Есть идея - обернуть в try catch - и сделать скриншот страницы.

driver.save_screenshot(‘wtf.png’)

[AnKus]

Вот 2 скрина. 1 драйвером, 2-й руками:





Вот try except:

wait = WebDriverWait(driver, 15)
try:
    element = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, 'div.scmp.scmp_Dialog-wrapper > div > div.scmp_Buttons-wrapper > button.scmp_Button.scmp_Button--intro-submit.scmp_Button--submit'))).click()
except TimeoutException as ex:
    print('No element')
    driver.save_screenshot('wtf.png')
    driver.close()

[AnKus]

Кнопка всегда появляется. Ей хватает 3-5 сек даже. Искал по селектору, хпасу, тегу ...

[AnKus]

[Дмитрий]

AnKus,
1. Кнопка не появляется если российский айпишник. Опытным путем выяснил
2. Селектор похоже не правильный

document.querySelectorAll('div.scmp.scmp_Dialog-wrapper > div > div.scmp_Buttons-wrapper > button.scmp_Button.scmp_Button--intro-submit.scmp_Button--submit'); - length: 0;

[Дмитрий]

AnKus, https://github.com/SeleniumHQ/selenium/issues/5869

[Дмитрий]

[AnKus]

Пришел к следующему:

from selenium.webdriver.support import expected_conditions as EC
from selenium import webdriver
import time
from selenium.common import TimeoutException, JavascriptException
from selenium.webdriver.common.by import By
from selenium.webdriver.support.wait import WebDriverWait
from pyshadow.main import Shadow

options = webdriver.ChromeOptions()
options.add_argument("start-maximized")

driver = webdriver.Chrome(options=options, executable_path=r"D:\Python_lern\shadow_root_pars\chromedriver.exe")
shadow = Shadow(driver)

url = "https://www.firmy.cz/Auto-moto/Auto-moto-prodejci/Autobazary"
driver.get(url)

wait = WebDriverWait(driver, 10)

element = shadow.find_element(By.CSS_SELECTOR, 'div.scmp.scmp_Dialog-wrapper > div > div.scmp_Buttons-wrapper')

driver.quit()

Try Except дает No element

Перечитал ветку:
https://github.com/SeleniumHQ/selenium/issues/5869

Испробовал разные методы, никуда не продвинулся.
Вычитал, что есть ShadowRoot (Open) и ShadowRoot (Closed). Мой случай второй.
В сети есть обсуждения такого же вопроса на С и Java, но решения не нашли.

Прошу помощи и строго не судить. Я пока еще только обучаюсь

[Дмитрий]

AnKus, да я не сужу. я честно говоря не сталкивался с таким. но может если это все не работает - костыль поставить? эта кнопка по факту ставит куку szncmpone=1. Может вы сами ее поставите, и тогда окна не будет?

[AnKus]

Спасибо за наводку. Добавил куки :

driver.add_cookie({'name' : 'szncmpone', 'value' : '1'})

Стало выдавать периодически ошибку :

selenium.common.exceptions.WebDriverException: Message: unknown error: cannot determine loading status
from unknown error: unexpected command response

Использовал:

while True:
    try:
        driver.get(url)
        break
    except:
        continue

Вроде пропускает дальше

[Дмитрий]

AnKus, ну эта ошибка может возникает по миллиону причин - и не факт что с куками. Тут надо копать