Как исправить ошибку при клике на сайте?

Question

[dima_program]

Всем добрый день. Есть скрипт на Python, который парсит эту страницу:
https://www.flashscore.ru/
Кликает на каждый матч и выводит ссылку и дату каждого матча.
Так как при клике на матч открывается новый браузер, в коде написано каждый раз возвращаться на предыдущее окно.
Код:

import time
from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from bs4 import BeautifulSoup


driver = webdriver.Chrome(executable_path="C:\\Users\\iljal\\PycharmProjects\\parsingg\\chromedriver") # здесь указать путь к chromedriver он обычно в той же папке где и Ваш проект
driver.get('https://www.flashscore.ru/')
time.sleep(3) # C:\Users\iljal\PycharmProjects\parsingg\chromedriver

arr = driver.find_elements_by_css_selector(
    ".event__match.event__match--scheduled.event__match--oneLine"
)


# optional (if you are not satisfied with the download speed)
driver.set_page_load_timeout(0.5)


for channel in arr:
    try:
        channel.click()
    except TimeoutException:
        print("data not received. need more time in driver.set_page_load_timeout")
        continue

    driver.switch_to.window(driver.window_handles[arr.index(channel)+1])

    html = driver.page_source
    soup = BeautifulSoup(html, 'lxml')

    almost_time = soup.find('div', class_='description__time mstat-date').get_text(strip=True)
    res_time = almost_time.split()
    time = res_time[-1]

    link = driver.current_url
    print(link)
    print(time)
    driver.switch_to.window(driver.window_handles[0])

Но почему-то после 17 матча (ЛАСК/ШТУРМ) PyCharm выводит ошибку, что это место не кликабельно:

selenium.common.exceptions.ElementClickInterceptedException: Message: element click intercepted: Element <div id="g_1_GzZFvoYt" title="Подробности матча!" class="event__match event__match--scheduled event__match--last event__match--oneLine">...</div> is not clickable at point (531, 814). Other element would receive the click: <p id="onetrust-policy-text">...</p>
  (Session info: chrome=83.0.4103.97)

Подскажите, что не так? Следующий матч кликабелен, почему он ругается? Заранее спасибо.

Answer 1

[Михаил]

Некоторые элементы становятся доступны не моментально, по этому нужно настроить не явное ожидание.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Firefox()
driver.get("http://somedomain/url_that_delays_loading")
try:
    element = WebDriverWait(driver, 10).until(
        EC.element_to_be_clickable((By.ID, "myDynamicElement"))
    )
finally:
    driver.quit()

Документация

Comments

[dima_program]

Нет, это не решение. Нужно прокручивать страницу вниз, чтобы он смог кликнуть на следующие матчи

[Михаил]

dima_program, так в чём проблема?
Делаешь скрол и кликаешь. Либо с помощью js либо фокусом на элемент.

[dima_program]

Михаил, фокусом не работает, только js. А как это сделать с js? Попробовал ввести, но выводит ошибку

import time
from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from bs4 import BeautifulSoup

count = 0
driver = webdriver.Chrome(executable_path="C:\\Users\\iljal\\PycharmProjects\\google_sheets\\chromedriver")
driver.get('https://www.flashscore.ru/')
time.sleep(3) # C:\Users\iljal\PycharmProjects\google_sheets\chromedriver

arr = driver.find_elements_by_css_selector(
    ".event__match.event__match--scheduled.event__match--oneLine"
)


# optional (if you are not satisfied with the download speed)
driver.set_page_load_timeout(0.5)


for channel in arr:
    try:
        channel.click()
        count += 1
        if count == 17:
            driver.execute_script(
                "var evt = document.createEvent('MouseEvents');evt.initEvent('wheel', true, true);evt.deltaY = -100000;document.querySelector('.yamb-conversation__content').dispatchEvent(evt);")
    except TimeoutException:
        print("data not received. need more time in driver.set_page_load_timeout")
        continue

    driver.switch_to.window(driver.window_handles[arr.index(channel)+1])


    link = driver.current_url
    print(link)

    driver.switch_to.window(driver.window_handles[0])

Ошибка:

raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.JavascriptException: Message: javascript error: Cannot read property 'dispatchEvent' of null
  (Session info: chrome=83.0.4103.97)

[Михаил]

dima_program, учись пользоваться гуглом, полезный навык.

driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

p.s - суп не нужен, потому что ты сможешь искать элементы и получать их значениям напрямую через вебдрайвер.

[dima_program]

Михаил, спасибо что ответили, но это прокрутка в самый низ, матчи всё также не видит. Есть ли возможность прокручивать также на 17 матчей? То есть на 1 скролл

[Михаил]

dima_program, твой подход неверный.
У селениума куча методов, например

Actions actions = new Actions(driver);
actions.moveToElement(element);
actions.click();

element = это то что ты не можешь найти в области видимости окна браузера. Такая реализация гарантирует что он браузер будет фокусироваться на нужном тебе элементе, если он был загружен.

[Михаил]

from selenium.webdriver.common.action_chains import ActionChains

[dima_program]

Михаил, скажите можно ли записывать примерно в таком виде? Просто если писать именно так, то выводит ошибку. То есть сейчас a = 500 и прокрутка на 500, в следующий раз + 500, значит 1000, потом 1500 и т.д.

a += str(500)
driver.execute_script("window.scrollTo(0,", str(500), ");")

ошибка:

raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.JavascriptException: Message: javascript error: Unexpected token '}'
  (Session info: chrome=83.0.4103.97)

[Михаил]

dima_program, ты пытаешься в код написанный на js, вставить код из питона))) это очень мило конечно но неправильно. Это строка, и работать с ней нужно как с стройкой. Следовательно

a += str(500) <- Что это за жесть?
a += 500
driver.execute_script(f"window.scrollTo(0, {a});") # Такая запись гарантирует что в место "a" будет подставляться значение переменной.