Как спарсить сайт, на котором всплывает окно?

Question

[THANKDsfdsafdswafas]

я пытался создать парсер сайта но во время этого процесса выскакивало окно где нужно было его закрыть для продолжения работы. Мой бот никак не мог его закрыть.
вот код на котором кнопка не нажимается

from selenium import webdriver
from selenium.webdriver.common.by import By
import time

driver = webdriver.Chrome()

driver.get("https://znanija.com/app/ask?entry=hero&q=magic")
time.sleep(3)
driver.find_element(By.CLASS_NAME, 'sg-button').click()

Comments

[Алан Гибизов]

Настоятельно рекомендую приложить минимальный фрагмент кода, иллюстрирующий вашу попытку решить или обойти проблему.
Без такого примера это не вопрос, а заказ фрилансерам.

[Алан Гибизов]

Там всплывает что-то про ssl?

[THANKDsfdsafdswafas]

Алан Гибизов, в консоли пишется ошибка
selenium.common.exceptions.ElementClickInterceptedException: Message: element click intercepted: Element ... is not clickable at point (924, 131). Other element would receive the click: ...
(Session info: chrome=113.0.5672.127)

[Алан Гибизов]

Сайт польский и, вероятно, блокирует запросы с некоторых диапазонов адресов, либо при отсутствии некоторых сертификатов.
Я бы рекомендовал попробовать соединяться с сайтом через VPN из западных диапазонов адресов. Тогда, возможно, не будет появляться всплывающее сообщение.

[THANKDsfdsafdswafas]

Алан Гибизов, Спасибо большое, такого я ещё не делал, сейчас попробую

[Алан Гибизов]

THANKDsfdsafdswafas, сам я в таких случаях использую сервис fornex vpn. Он платный, оплата на месяц около 170 руб. Но зато меня ни разу не подводил. И у них на каждый чих есть руководство для каждого варианта, как устанавливать сертификаты. Позволяет выбрать какую-нибудь Германию и подключаться якобы оттуда.
Но это только если вам на время. Если на постоянку, лучше организовывать свой удаленный сервер vpn. Как это сделать, тут полно на сервисе рекомендаций.

Впрочем, не настаиваю.

[THANKDsfdsafdswafas]

Алан Гибизов, после того как я подключил прокси Германии ситуация немного изменилась.
После запуска кода появлялось новое окно при нажатии на кнопку 'принять' всплывает старое окно которое закрыть не выходит ошибка таже самая

[utsiye]

Алан Гибизов, не в этом проблема. Нужно инициализировать скрипт js, чтобы указать на этот элемент, так как какой-то другой элемент, перекрывает его. Я уже не помню где, но либо на ютубе, либо на хабре, я находил ответ.

[Алан Гибизов]

THANKDsfdsafdswafas, глубоко вникать сейчас не могу… но, поскольку появляется исключение, в принципе его можно перехватить и обработать.
Первое, что приходит в голову - попробовать какой/нибудь простой механизм автоматизации. Какой-нибудь сторонний механизм вроде pyautogui или RPA какое-нибудь (это из пушки по воробьям, но вдруг…)

Это, конечно, жуткий костыль…

[THANKDsfdsafdswafas]

Алан Гибизов, Я уже пытался решить проблему через pyautogui и ничего не получилось, кнопка просто не хотела нажиматься, а RPA для меня совсем не вариант, т.к я хочу всё как можно больше автоматизировать

[THANKDsfdsafdswafas]

utsiye, Спасибо большое, я постараюсь найти что-то связанное с вашей информацией, надеюсь получиться отыскать решение моей проблемы

[Влад Григорьев]

THANKDsfdsafdswafas, надо смотреть на механизм реализации этих окошек, это или простая модалка и тогда просто находить и жмякать
или iframe и переключаться в него и находить и жмякать
или это какой-то алерт или окно, но суть та же переключиться в него и жмякать

у селениума есть механизм переключения контекста, главное понять и подобрать правильный

[THANKDsfdsafdswafas]

это конец, теперь вместо того окна вылазит эта капча...

Спасибо огромное всем кто пытался мне помочь, я очень благодарен вам, но сейчас появилась эта капча и я не знаю что делать, но сдаваться я не намерен

[THANKDsfdsafdswafas]

В добавок мой ip заблокировали

Answer 1

[Семён Окулов]

Можно вручную найти нужный класс (возможно, что это не sg-button)

Ещё можно попробовать использовать методы для работы с окнами в Selenium.

from selenium import webdriver
from selenium.webdriver.common.by import By
import time

driver = webdriver.Chrome()

driver.get("https://znanija.com/app/ask?entry=hero&q=magic")
time.sleep(3)

# Переключаемся на всплывающее окно, если оно активно
if len(driver.window_handles) > 1:
    driver.switch_to.window(driver.window_handles[1])
    driver.close()

# Возвращаемся на основное окно
driver.switch_to.window(driver.window_handles[0])

# Кликаем на кнопку на основной странице
driver.find_element(By.CLASS_NAME, 'sg-button').click()

Comments

[THANKDsfdsafdswafas]

Спасибо за помощь но к сожалению снова не работает, выдает всё туже ошибку