Парсинг html при помощи Selenium+Python, некорректный возврат?

Question

[PesyCorm]

Здравствуйте! Возникла трудность при попытке получить ссылки из атрибутов href элементов a.

Ссылка на страницу в репозитории на гите.(премодерация ругается, видимо из-за домена ресурса)

Воспользовался методом find_elements_by_class_name, а он вернул (для каждого элемента)

<selenium.webdriver.remote.webelement.WebElement (session="45a0063f8da9f78a78c38b201240c24a", element="6b43db73-2b1a-4886-9237-f493f7693539")>

. Соответственно, href из него получить не могу. Подскажите, в чем может быть ошибка? Возможно, есть какой-то другой способ получить ссылки из элементов?
Полный код на гите.
Спасибо за ответ!

Answer 1

[soremix]

Соответственно, href из него получить не могу

То, что вы получили - называется class, и это нормально, найти href вы не можете не поэтому

Вы находите <div> с классом testCard. У div нет и никогда не было аттрибута href.

Конкретно в данном случае, у него есть лишь class.

Если вы ищите href с вложенного в div элемента а,

то нужно сначала для каждого найденного div найти элементы a, затем у них уже брать href.

for el in slide_elems:
    # Находим вложенный тег <a>
    tag_a = el.find_element_by_tag_name('a')
    print(tag_a.get_attribute('href'))

Comments

[PesyCorm]

Вы волшебник! Но я не могу понять Ваше волшебство. Что именно возвращает find_element_by_* ? Т.е., это же не обычный список? Вложенный?

И правильно ли я понимаю, что обращаясь к родительскому классу, получаю все элементы внутри него? Т.е., если обращусь к самому верхнему классу на странице, то через него смогу получить, почти, все элементы с этой страницы?

[soremix]

PesyCorm,

Что именно возвращает find_element_by_

Класс Webelement
https://selenium-python.readthedocs.io/api.html#mo...

Т.е., если обращусь к самому верхнему классу на странице

Как такового самого верхнего элемента нет, это и есть

Выполняя driver.find_element вы находите все элементы со страницы, подходящие по критериям.
Выполняя find_element от элемента (от класса WebElement (как в ответе, когда el.find_element_by_tag_name)) - поиск будет производится внутри этого элемента

[PesyCorm]

Наверное, некорректно вопрос описал. Сам метод find_element_by* возвращает list, но я не понимаю, как получаю доступ к элементам внутри этого листа? Больше похоже на работу класса, когда при обращении просто получаю возврат от метода __str__(), но могу так же обратиться к отдельным атрибутам класса, как раз, чтобы получить, например href

[PesyCorm]

SoreMix, вроде дошло.. Огромное спасибо за помощь!

[soremix]

find_element_by*

Возвращает один элемент, список уже возвращает find_elements, но думаю тут просто опечатка.

но я не понимаю, как получаю доступ к элементам внутри этого листа

Это - самый обычный список элементов, внутри которого лежат классы webelement

Больше похоже на работу класса, когда при обращении просто получаю возврат от метода __str__(), но могу так же обратиться к отдельным атрибутам класса, как раз, чтобы получить, например href

Так точно, ведь это и есть класс. Просто __str__() возвращает его в таком, вполне обычном виде

Answer 2

[ScriptKiddo]

Атрибут href есть только у якоря, который находится под testCard.


XPath для него:
//*[@class='testCard']/a

Здесь вы записываете в файл строковую реперезентацию списка с элементами WebElement. А вам требуется записывать атрибут 'href'.

def parse(self):
		self.go_to_questsions_page()
		slide_elems = self.driver.find_elements_by_class_name("testCard")
		f = open("text.txt", "w")
		f.write(str(slide_elems))
		for el in slide_elems:
			print(el.get_attribute('href'))

Comments

[PesyCorm]

Я правильно понимаю, что до href я могу добраться только с помощью find_element_by_xpath?
На счет записи в файл - записывал просто весь вывод, т.к. print() в цикле for выводил значение None