Как получить нужное содержимое Xpath, если по родителю получаю список Element такой-то at?

Question

[Valentine5]

Пишу парсер для получения названий книг, картинок и стоимости с этого учебного сайта по скрапингу:
https://books.toscrape.com/catalogue/page-1.html

При вот таком запросе Xpath:

all_product_information = tree.xpath('//article[@class="product_pod"]')

Получаю выдачу:

[<Element article at 0x7008b358d240>, <Element article at 0x7008b3394880>, <Element article at 0x7008b34fab00>, <Element article at 0x7008b34ac380>, <Element article at 0x7008b324da00>, <Element article at 0x7008b319bc80>, <Element article at 0x7008b319be40>, <Element article at 0x7008b319b100>, <Element article at 0x7008b31a6680>, <Element article at 0x7008b324dac0>, <Element article at 0x7008b31a67c0>, <Element article at 0x7008b31a6480>, <Element article at 0x7008b31a6400>, <Element article at 0x7008b31a6640>, <Element article at 0x7008b31a6140>, <Element article at 0x7008b31a6c40>, <Element article at 0x7008b31a6700>, <Element article at 0x7008b31a6040>, <Element article at 0x7008b31a6380>, <Element article at 0x7008b31a68c0>]

Как раскрыть их дальше? Ничего не получается. Перебираю циклом all_product_information, но там тоже elements просто, а содержимого нет. Получается обращаться по индексам [0], [1], но, опять таки, названий книг, стоимости не получаю.

Comments

[Михаил Р.]

Ничего не получается.. Перебираю циклом all_product_information, но там тоже elements просто, а содержимого нет.

Показывайте полный код и что конкретно в нем не работает.

[Valentine5]

да, конечно:

def pull_needed_parts_of_HTML(self):

       
        tree = etree.fromstring(self.src, parser=etree.HTMLParser())
        
        all_product_information = tree.xpath('//article[@class="product_pod"]')

хочу получить норм html, чтобы вытащить из него ссылки, текст, картинки и положить в базу. А  получаю вот это:

[<Element article at 0x73d47815dac0>, <Element article at 0x73d47815dec0>, <Element article at 0x73d4781814c0>, <Element article at 0x73d478181640>, <Element article at 0x73d478181300>, <Element article at 0x73d478181480>, <Element article at 0x73d478181100>, <Element article at 0x73d478181ac0>, <Element article at 0x73d478181f00>, <Element article at 0x73d478181240>, <Element article at 0x73d478181380>, <Element article at 0x73d478181440>, <Element article at 0x73d478181540>, <Element article at 0x73d4781811c0>, <Element article at 0x73d478181740>, <Element article at 0x73d478181680>, <Element article at 0x73d4781818c0>, <Element article at 0x73d478181f80>, <Element article at 0x73d478181d40>, <Element article at 0x73d478181d80>]

        print(all_product_information)

[Wispik]

Valentine5, и где в этом коде цикл, которые перебирает элементы?
Вот навскидку код, как получить тег:

for el in all_product_information:
    print(el.tag)

Дальше смотри в доке, как получить нужные тебе параметры

Answer 1

[dim5x]

Продолжать парсить те элементы что вам нужны.
Например, для названий:

for el in all_product_information:
    print(el.xpath('h3/a/text()')[0])

A Light in the ...
Tipping the Velvet
Soumission

Или как-то так:

product_name = tree.xpath('//article[@class="product_pod"]/h3/a/text()')
product_price = tree.xpath('//div[@class="product_price"]/p/text()[1]')
product_price = [i for i in product_price if i != '\n    ']

z = zip(product_name, product_price)
for i in z:
    print(*i)

A Light in the ... £51.77
Tipping the Velvet £53.74
Soumission £50.10