Почему я не могу получить атрибут элемента в Selenium?

Question

[Ivan Yakushenko]

Фрагмент HTML кода

<div class="_2EZ_m" data-ref="1@kt+i8eamrYWcD7C0BZyGrmEGXcEvBs">
    <span>
    </span>
    <div class="_1jjYO">
        <span class="_3CSsZ">
            <svg xmlns="http://www.w3.org/2000/svg" width="64" height="64" viewBox="0 0 64 64">
                <path fill="#FFF" d="M6.525 43.936a29.596 29.596 0 0 1-3.039-13."></path>
                <path fill="#123033" d="M50.801 13.135c-4.739-4.742-11.039-7.354-17.752-7.357-13"></path>
                <path fill="#123033" d="M25.429 19.26a8.65 8.65 0 0 0-1.028.011 2.352 2.352 0 0 0-.95."></path>
            </svg>
        </span>
    </div>
    <canvas width="264" height="264" style="display: none;"></canvas>
    <img alt="Scan me!" src="data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAQgAAAEICAYAAACj9mr/AA" style="display: block;"></div>

XPath к нему: //*[@id="app"]/div/div/div[2]/div[1]/div/div[2]/div
Проверка на поиск элемента срабатывает, элемент есть:

try:
    driver.find_element_by_xpath('//*[@id="app"]/div/div/div[2]/div[1]/div/div[2]/div')
except NoSuchElementException as e:
    print(e.msg)

Пытаюсь взять его атрибут:

qr = driver.find_element_by_xpath('//*[@id="app"]/div/div/div[2]/div[1]/div/div[2]/div')
print(qr.get_attribute('data-ref'))

Всегда выводит None.
UPD.
Попробовал найти по имени класса:

qr = driver.find_element_by_class_name('XSdna')
print(qr.get_attribute("innerHTML"))

Вывод:

<div class="_2EZ_m"><svg class="_1UDDE" width="65" height="65" viewBox="0 0 44 44"><circle class="_3GbTq _3AnXT" cx="22" cy="22" r="20" fill="none" stroke-width="4"></circle></svg></div>

Никакого data-ref нет. Смотрю на сайте через просмотр кода - есть, а селениум говорит, что нет. И селениум и я пользуемся одним браузером. Как это вообще возможно?

Comments

[Влад Григорьев]

Скорее всего вы попали в другой див.

[Ivan Yakushenko]

Влад Григорьев, нет, тот самый. Пробовал расширять xpath:

'//*[@id="app"]/div/div/div[2]/div[1]/div/div[2]/div[contains(@class, "_2EZ_m")]'

Проверка все так-же проходит, результат вывода атрибута None.
Плюс у меня стоит ожидание загрузки страницы, если-бы элемент был не тот, то код вообще не работал-бы.

Answer 1

[Михаил]

Рекомендую осуществлять прямой поиск атрибута, а не через цепочку. Такой подход будет гарантировать нахождение именно вашего атрибута.

Рекомендую так же, перед явным поиском делать print(qr.text) что бы убедиться в том что он нашел необходимый кусок

Можно попробовать .get_attribute("innerHTML")

Comments

[Ivan Yakushenko]

Использовал innerHTML, вообще не понимаю, куда меня занесло:

<svg class="_1UDDE" width="65" height="65" viewBox="0 0 44 44"><circle class="_3GbTq _3AnXT" cx="22" cy="22" r="20" fill="none" stroke-width="4"></circle></svg>

Если что, то сайт web.whatsapp.com, на главной странице пытаюсь вытянуть data-ref QR-кода.

[Ivan Yakushenko]

Так, попробовал найти по имени класса:

qr = driver.find_element_by_class_name('XSdna')
print(qr.get_attribute("innerHTML"))

Вывод:

<div class="_2EZ_m"><svg class="_1UDDE" width="65" height="65" viewBox="0 0 44 44"><circle class="_3GbTq _3AnXT" cx="22" cy="22" r="20" fill="none" stroke-width="4"></circle></svg></div>

Никакого data-ref нет. Смотрю на сайте через просмотр кода - есть, а селениум говорит, что нет. И селениум и я пользуемся одним браузером. Как это вообще возможно?

[Михаил]

Ivan Yakushenko, держи

driver.find_element_by_xpath("//div[@data-ref]").get_attribute('data-ref')

Если не трудно, отметь моё решение :3

p.s В таких проекта имена классов генерируются, по этому следует ловить именно типы атрибутов)

[Ivan Yakushenko]

Михаил, да, на счет того, что data-ref подгружается после загрузки страницы я догадался, а за решение - спасибо.
Скажи, а если, к примеру, подобных атрибутов на странице несколько, как расширить xpath и сделать его более уточняющим? Например, следующая структура:

<div class="landing-main">
    <div class="_3XczR">
        <div class="XSdna">
            <div class="" data-ref="">

Я хочу составить XPath, который будет указывать на data-ref, который вложен в двух блоках div класса "landing-main".

[Михаил]

Ivan Yakushenko, тогда лучше всего использовать принцип find_elementS_by_xpath, то есть он отдаст список из div например, и уже итерируясь по этому списку искать необходимый, ну или зная его положение можно сразу обратиться по индексу через [0]

[Ivan Yakushenko]

Михаил, а если я не знаю каким именно должен быть data-ref? Т.е. у меня есть 5 data-ref со случайно сгенерированными значения, но зато я знаю, что он должен быть вложен в div class="landing-main"/div/div.

[Михаил]

Ivan Yakushenko, так моя конструкция и подразумевает что ты не знаешь что внутри атрибута, но ты знаешь что нужный див его точно содержит, и собственно просто вместо поиска одного элемента, ты пишешь S и находишь все вхождения на странице

find_elements_by_xpath("//div[@data-ref]")

Хотя возможно я не правильно тебя понял просто)

[Ivan Yakushenko]

Михаил, неправильно: допустим у меня есть несколько блоков div с разными классами, разбросанных по всей странице, но у них всех есть атрибут data-ref, при этом во всех этих блоках вложены разные элементы - в каком-то текст, в каком-то изображение и т.д. Будет странно, как мне кажется, добавлять довольно таки громоздкую проверку что именно находится в div, куда логичнее указать где именно расположен нужный мне div. Например, вот такая конструкция работает:

//*[@id="app"]/div/div/div[2]/div[1]/div/div[2]/div[@data-ref]

Но она слишком большая. Сокращаю:
//div[@class="landing-main"]/div/div[2]/
По-разному пытаюсь добавить [@data-ref] - не получается. Как мне правильно его вставить и, в идеале избавиться от div[2]?

[Михаил]

Ivan Yakushenko, если тебе важно явным образом указывать где именно искать, попробуй посмотреть класс первого
div
//*[@id="app"]/div/div/div[2]/div[1]/div/<- Этого div[2]/div[@data-ref]
Или если у него нет класса, то быть может есть атрибут за который можно будет его вывалить. И уже к нему можно будет обратиться через div[2]/div[@data-ref]

И опять же, ты можешь попробовать найти список этих див'ов ->div[2]/div[@data-ref] через find_elements, и собственно уже там по индексу искать. В любом случае тебе стоить понимать простую истину, что нет явно необходимости указывать вложенность, если элементы имеют уникальный идентификатор или класс. А в данном случае они вообще всегда разные (как я понял).

То есть, достаточно сфокусироваться на на том элементе который точно содержит необходимый атрибут (той конструкцией которую я показал) и уже получить из неё необходимые данные.

p.s если имя класса явным образом не говорит что оно фиксированное (то есть содержит какие-то случные набор чисел и букв), то по нему обращаться НЕ следует, проще зацепиться на уровень выше, или по самому тегу, но никогда не использую хэш в качестве имени класса) ибо он просто смениться и элемент ты не найдешь.

з.ы Рекомендую с селеном работать в связи с блоком finally, ибо веб драйвер имеет свойство умирать в процессах и висеть мёртвым грузом.

finally:
    driver.close()
    time.sleep(1)
    driver.quit()

[Ivan Yakushenko]

Михаил, я уже разобрался как сделать наиболее короткий путь с указанием определенных условий вложенности:
//*[@class="landing-main"]//div[@data-ref]
Конкретно в этом случае это не нужно, т.к. я знаю, что атрибут data-ref всего 1 на странице, просто мне нужно было разобраться на будущее с этим.
driver.close() использую всегда, когда завершается выполнение кода.
И еще не подскажешь-ли, можно ожидать загрузку сразу двух страниц? К примеру я не знаю изначально авторизован пользователь, или нет. Если нет, то он попадает на 1 страницу, если авторизован - на другую.
Если я начинаю свой код с ожидания, пока на ней появится, к примеру, qr код для авторизации и timeout стоит 20 секунд, но при этом пользователь авторизован, то это просто впустую потраченные 20 секунд. И наоборот если пользователь не авторизован.