Как сделать, чтобы Driver.page_source возвращал ПОЛНУЮ страницу?

Question

Викентий @wintreist

Как сделать, чтобы Driver.page_source возвращал ПОЛНУЮ страницу?

Пишу парсер и столкнулся с проблемой, что driver.page_source возвращает не то, что в браузере.

Что в браузере

Что возвращает

Поискал в интернете, нашел тему с похожей проблемой, но либо я кривой, что скорее всего, либо код не рабочий и запустить его у меня не получилось

не получилось

Очень нужна ваша помощь.

Вопрос задан более трёх лет назад
351 просмотр

Комментировать

Подписаться 1 Средний Комментировать

Помогут разобраться в теме Все курсы

Яндекс Практикум

Python-разработчик

10 месяцев

Далее
Skillbox

Python-разработчик

10 месяцев

Далее
Нетология

Python-разработчик с нуля

6 месяцев

Далее

Пригласить эксперта

Ответы на вопрос 1

10 комментариев

Викентий @wintreist Автор вопроса

Остроумно, но нет, так оно работать не будет

Написано более трёх лет назад

сергей кузьмин @sergueik

Викентий но если там например javascript что нибудь динамически доваляет - механизм не важен - то тескт вернутый driver.getPageSource никогда не будет содержать ничего что этот JavaSrcipt нагенерил - печально но это так.

простой пример:

<html>
<head>
<!-- origin: http://www.java2s.com/Tutorials/Javascript/Javascript_Data_Type_How_to/Date_Clock/Create_auto_refresh_clock.htm -->
<script language="JavaScript">
function gettime() {
    var date= new Date();
    var hr = date.getHours();
    var m = date.getMinutes();
    var s = date.getSeconds();
    if(m < 10)
    {
        m = "0" + m
    }
    if(s < 10)
    {
        s = "0" + s
    }
    document.clockform.clock.value = hr + ":" + m + ":" + s;
    setTimeout("gettime()", 2400)
}
</script>
</head>
<body onload="gettime()">
<form name="clockform">
<input type="text" name="clock">
</form>
</body>
</html>

при помощи driver.getPageSource время которое эта страничка показывает никогда не узнаете

Написано более трёх лет назад

Викентий @wintreist Автор вопроса

сергей кузьмин, вообще никогда? Нет никаких шансов?

Написано более трёх лет назад
сергей кузьмин @sergueik
вместо того чтобы брать все и сразу берут индивидуальные элементы из DOM и вычисляют их значения либо запуская доморощенный javascript напр

final String script = "return arguments[0].value"; WebElement element = driver.findElement(By.cssSelector("input[name=\"clock\"]")); String value = (String) executeScript(script, element); System.err.println("current value: " + value);

либо через имеющиеся Selenium API напр

WebElement element = driver.findElement(By.cssSelector("input[name=\"clock\"]")); String value = element.getAttribute("value"); System.err.println("current value: " + value);

и то и другое для найденного элемента даст текущее время- использую пример страничку который показал выше

Кстати на стаковерфлоу они то же самое и обсуждают что почему нельзя
вы сами нашли но демаю не читали дискуссию
https://stackoverflow.com/questions/45246280/selen...
1. I don't believe driver.page_source will retrieve any DOM elements generated by JavaScript. –

2. using any form of driver.find_element_by_[...] is pulling from the newest and freshest page data, while the browser's "view page source" only shows what was provided when the page first loaded.
Написано более трёх лет назад
Викентий @wintreist Автор вопроса

сергей кузьмин,
либо через имеющиеся Selenium API напр

Как я понимаю это написано на JS?

("input[name=\"clock\"]")

Это xpatch?

Написано более трёх лет назад
сергей кузьмин @sergueik

Викентий на самом деле эта строка это css она же кормитя методу
By.cssSelector

это для этой контретной странички естсетвенно. для другой страницы будет другой

вывод тоторый это иллюстрирует это что getPageSource вещь довольно бесполезная

Написано более трёх лет назад
Викентий @wintreist Автор вопроса

сергей кузьмин, Видимо да. Очень жаль что нет какого-нибудь действенного метода, потому что мне действительно необходимо получать отсутствующее

Написано более трёх лет назад
сергей кузьмин @sergueik

Викентий, почему нет помому есть он называется научиться пользоваться селениумом

Написано более трёх лет назад
Викентий @wintreist Автор вопроса

сергей кузьмин, видимо мне не дано

Написано более трёх лет назад
сергей кузьмин @sergueik

если другие смогли то и вы сможете я думаю
https://www.quora.com/Approximately-how-many-Selen...

Написано более трёх лет назад