Как получить текущие данные html после метода click() в Selenium?

Question

[Mark Adams]

Могу подключиться и пройти по ссылке:

from selenium import web driver

driver = webdriver.Firefox()
driver.get("https://www.example.com")
driver.find_element_by_xpath("/html/body/div...]").click()

Как получить html с новой страницы (по которой перешли) ?

Answer 1

[YaroslavS]

Возможно проблема в том, что данные не успели загрузиться
Про ожидания почитайте здесь про ожидания
Я делал как то так

from selenium import webdriver
import selenium.webdriver.support.ui as ui

browser = webdriver.Firefox()
wait = ui.WebDriverWait(browser,30)
browser.execute_script('')#скрипт осуществлял переход на другую страницу в моем случае так в вашем по другому (driver.find_element_by_xpath("/html/body/div...]").click())
wait.until(lambda browser: browser.find_element_by_id('someID'))
some_info = browser.find_element_by_id('someID').get_attribute("outerHTML")

Answer 2

[Mark Adams]

Нашел вот это: How to get Selenium to wait for page load after a click, но пока не разобрался.

Answer 3

[Вячеслав]

driver.current_url?

Comments

[Mark Adams]

1. Нужен html, 2. Нужны текущие данные, а он выдает данные предыдущей страницы.

[Вячеслав]

Илья Кметь: ой, пардон, не так прочитал) нужно видимо ждать пока данные прогрузятся. И видимо то, что вы нашли оно и есть, видел примеры на с#, там тоже самое используется.

[Mark Adams]

Вячеслав: там только куски кода, не могу пока разобраться

[Вячеслав]

Илья Кметь: пример тут
stackoverflow.com/questions/15122864/selenium-wait...

[Mark Adams]

Вячеслав: тут то же что и в блоге, нифига не понятно, куски кода. Надо: открыть страницу - найти ссыку - нажать на нее - получить html с новой страницы. Буду очень благодарен, если поможешь реальным примером.

[Mark Adams]

Вячеслав: заработало, но не на всех сайтах. Есть ссылки по которым можно перейти только с конкретных страниц. В таких случаях вылетает ошибка: Timeout waiting for page_has_loaded

[Вячеслав]

Илья Кметь: таймаут попробовать можно увеличить. Ну или кинь откуда куда нужно перейти, проверю чуть позже если у тебя не выйдет