Как дождаться полной загрузки страницы на Selenium python?

Евгений, все, что вам нужно - это найти на новой странице элемент, который загружается позже всех и ожидать его загрузки, скажем, через его xpath.
Вместо того, что-бы использовать то, что не нужно использовать и придумывать то, что не нужно придумывать, ознакомьтесь с тем, что предлагает сам selenium. Вы можете бесконечно засирать код миллионом проверок, циклов, ожиданий и в конечном итоге загрузка страницы будет длиться 5 минут, а любое действие крашить вебдрайвер, а можете просто подумать как использовать имеющийся функционал.

Как дождаться полной загрузки страницы на Selenium python?

element = WebDriverWait(driver, 10).until(ec.url_changes('ссылка которую вы ждете'))

Вставьте перед тем местом, где вы начинаете взаимодействовать с новым HTML.

Как дождаться полной загрузки страницы на Selenium python?

Евгений, в чем у вас проблема? У вас есть 2 страницы: 1, на которой вы вводите данные, нажимаете кнопку отправки, затем ждете загрузку второй страницы и производите на ней разные действия? Если да, то у этих двух страниц разные адреса, или данные меняются на текущей странице JS'ом?

Как скачать медиа с Selenium в headless?

Владислав Лысков, сработало, спасибо. Ответьте на вопрос, я его отмечу решением.

Как находить теги со сложными именами классов?

badproger12years, ну так а ошибка то какая? попробуйте вывести print переменную

Как мне вообще хостить свой скрипт.Прощу помощи?

GavriKos, я не смог доесть. Точнее как, 1 сайт до сих пор висит на Ubuntu, но последней каплей стали chmod, которые отвалились от FTP директории, скоро и он переедет на Windows Server
Я не планирую работать в офисе/на фрилансе, я пишу код сугубо для обслуживания своих нужд, проектов ну и просто потому-что нравится. Я никогда не пользовался линуксом да и особо не хочу, по-этому для все, что там происходит - это ад. Спасение нашел, как раз таки, в лице VDS на Windows - файлы скинул, по папочкам, мышкой туцнул - все работает. Раньше я день писал код, а потом два дня пытался его запустить на linux, сейчас такой нужды нет.

Не получается отправить письмо на почту через python. В чем проблема?

А ошибка где?

Почему я не могу получить атрибут элемента в Selenium?

Михаил, я уже разобрался как сделать наиболее короткий путь с указанием определенных условий вложенности:
//*[@class="landing-main"]//div[@data-ref]
Конкретно в этом случае это не нужно, т.к. я знаю, что атрибут data-ref всего 1 на странице, просто мне нужно было разобраться на будущее с этим.
driver.close() использую всегда, когда завершается выполнение кода.
И еще не подскажешь-ли, можно ожидать загрузку сразу двух страниц? К примеру я не знаю изначально авторизован пользователь, или нет. Если нет, то он попадает на 1 страницу, если авторизован - на другую.
Если я начинаю свой код с ожидания, пока на ней появится, к примеру, qr код для авторизации и timeout стоит 20 секунд, но при этом пользователь авторизован, то это просто впустую потраченные 20 секунд. И наоборот если пользователь не авторизован.

Почему я не могу получить атрибут элемента в Selenium?

Михаил, неправильно: допустим у меня есть несколько блоков div с разными классами, разбросанных по всей странице, но у них всех есть атрибут data-ref, при этом во всех этих блоках вложены разные элементы - в каком-то текст, в каком-то изображение и т.д. Будет странно, как мне кажется, добавлять довольно таки громоздкую проверку что именно находится в div, куда логичнее указать где именно расположен нужный мне div. Например, вот такая конструкция работает:

//*[@id="app"]/div/div/div[2]/div[1]/div/div[2]/div[@data-ref]

Но она слишком большая. Сокращаю:
//div[@class="landing-main"]/div/div[2]/
По-разному пытаюсь добавить [@data-ref] - не получается. Как мне правильно его вставить и, в идеале избавиться от div[2]?

Почему я не могу получить атрибут элемента в Selenium?

Михаил, а если я не знаю каким именно должен быть data-ref? Т.е. у меня есть 5 data-ref со случайно сгенерированными значения, но зато я знаю, что он должен быть вложен в div class="landing-main"/div/div.

Почему я не могу получить атрибут элемента в Selenium?

Михаил, да, на счет того, что data-ref подгружается после загрузки страницы я догадался, а за решение - спасибо.
Скажи, а если, к примеру, подобных атрибутов на странице несколько, как расширить xpath и сделать его более уточняющим? Например, следующая структура:

<div class="landing-main">
    <div class="_3XczR">
        <div class="XSdna">
            <div class="" data-ref="">

Я хочу составить XPath, который будет указывать на data-ref, который вложен в двух блоках div класса "landing-main".

Почему я не могу получить атрибут элемента в Selenium?

Так, попробовал найти по имени класса:

qr = driver.find_element_by_class_name('XSdna')
print(qr.get_attribute("innerHTML"))

Вывод:

<div class="_2EZ_m"><svg class="_1UDDE" width="65" height="65" viewBox="0 0 44 44"><circle class="_3GbTq _3AnXT" cx="22" cy="22" r="20" fill="none" stroke-width="4"></circle></svg></div>

Никакого data-ref нет. Смотрю на сайте через просмотр кода - есть, а селениум говорит, что нет. И селениум и я пользуемся одним браузером. Как это вообще возможно?

Почему я не могу получить атрибут элемента в Selenium?

Использовал innerHTML, вообще не понимаю, куда меня занесло:

<svg class="_1UDDE" width="65" height="65" viewBox="0 0 44 44"><circle class="_3GbTq _3AnXT" cx="22" cy="22" r="20" fill="none" stroke-width="4"></circle></svg>

Если что, то сайт web.whatsapp.com, на главной странице пытаюсь вытянуть data-ref QR-кода.

Почему я не могу получить атрибут элемента в Selenium?

Влад Григорьев, нет, тот самый. Пробовал расширять xpath:

'//*[@id="app"]/div/div/div[2]/div[1]/div/div[2]/div[contains(@class, "_2EZ_m")]'

Проверка все так-же проходит, результат вывода атрибута None.
Плюс у меня стоит ожидание загрузки страницы, если-бы элемент был не тот, то код вообще не работал-бы.

Почему явное ожидание ждёт вечно?

zlodiak, он не ищет, просто Exception не завершает работу скрипта. Хотите, что-бы в случае неудачного поиска завершалась работы скрипта - в блоке except пишите exit(0), а лучше используйте finally.

Как создать команду бан? Python-VK?

NooBick, вы-же написали

я сделал что бы при ответе сообщения и надписи бан он банил юзера

Соответственно у вас должно быть что-то вроде:

def ban_function():
    '''
    Тут функция, которая банит пользователя
    '''

Парсинг сайтов xpath?

AlexBoss, только вот selenium и requets немного не об парсинге.

Как правильно проверить ввел пользователь номер телефона или свою почту?

Сергей Горностаев, мне кажется это странным решением - пытаться отправить емеил, для проверки валидности. Уж лучше api, если нужна максимальная точность, в остальных случаях базовых регулярок хватает более чем.
Обратите внимание, что у человека вопрос стоит не в том, что-бы проверить емеил на валидность а в том, что-бы убедиться, что введен именно емеил.

Как правильно проверить ввел пользователь номер телефона или свою почту?

Роман Мирр, это самые базовые проверки на емеил и номер телефона. В случае с емеил группа символов, собачка, группа символов, точка.
К слову эта регулряка собрана из примеров официальной документации Python.

Как правильно проверить ввел пользователь номер телефона или свою почту?

Роман Мирр, ну так для этого, очевидно, нужно понять что именно ввел пользователь - просто бессмыслицу, или адрес.