Как извлечь текст из тега с помощью BeautifulSoup?

Question

[AlexCruel]

В 'price' пишет 'NoneType' object has no attribute 'text'.

for item in items:
        cards.append(
            {
                'title': item.find('div', class_='h3').find('a').get_text(strip=True),
                <b>'price': item.find('span', class_='g-price-summ-cur').text(strip=True),</b>
                'link_product': item.find('div', class_='h3').find('a').get('href')
            }
        )
    return cards

Пробовал убрать .text и вызвать здесь:

for item in items:
            writer.writerow([item['title'], <b>item['price'].text</b>, item['link_product']])

Из ссылок, блоков все работает с помощью 'get_text()'.
Как и где мне извлечь текст из ? Свойство, метод?

Comments

[Fedgeralt]

привет! а можно пример хтмл айтема?

[iMaximus]

#!/usr/bin/python3

import pathlib
from bs4 import BeautifulSoup

file = pathlib.Path(__file__).parent / '../my_folder/my_file.html'
with open(file, "r") as f:
	contents = f.read()

soup = BeautifulSoup(contents, 'lxml')
tag = soup.select_one('.summary-counter')
tag_text = str(tag.text).strip()
print(tag_text)

Это пример для тэга который встречается в файле один раз. Если нужно все значения какого то тэга чуть по другому.

[Fedgeralt]

iMaximus, html код покажи откуда ты пытаешься достать price, хочу увидеть кусок html кода одного item

[AlexCruel]

Fedgeralt,

<div>
<div>
<span>
<b><span class="g-price-summ-cur"></b>152.00    руб</span>
</span>
</div>
</div>

Прости за неровности, примерно так.

[AlexCruel]

iMaximus,
str(item['price'].text).strip()

Пишет 'NoneType' object has no attribute 'text'.

[AlexCruel]

iMaximus, Он встречается в блоке один раз. Я специально перебираю по карточкам

items = soup.find_all('div', class_='item-product')

[AlexCruel]

iMaximus,
Может вложенность мешает

<span class="g-price-summ">
<span class="table-grid-price">
<span class="g-price-summ-cur">152</span>
</span>
</span>

[Fedgeralt]

покажи весь див item-product который

[iMaximus]

AlexCruel,
У несуществующего объекта нету текста покажи код.

[AlexCruel]

Fedgeralt, все строки вылетают, вот сайт https://grach.by/akkumulyatoryi/zubr/

[AlexCruel]

iMaximus, все строки вылетают, вот сайт https://grach.by/akkumulyatoryi/zubr/

[Fedgeralt]

так они цены запрашивают отдельными запросами, для каждого айтема на странице https://grach.by/cat/get_price/?id=346&only=1

ты html как тянешь?

[Fedgeralt]

короче либо через селениум тащить хтмл либо доставать айдишники и потом делать отдельные запросы на полуение цены и парсить ответ

[AlexCruel]

Fedgeralt, понятно, спасибо)

[AlexCruel]

Fedgeralt,
soup = BeautifulSoup(html, 'html.parser')

[Fedgeralt]

так откуда у тебя файлы появляются html

file = pathlib.Path(__file__).parent / '../my_folder/my_file.html'
with open(file, "r") as f:
contents = f.read()

вот ты кидал

[AlexCruel]

Fedgeralt, из request get) ссылку пишу URL и все

[Fedgeralt]

а ну тогда все правильно как и выше я писал, отметь как решение

Answer 1

[Fedgeralt]

цены запрашивается отдельным запросом на каждый товар на странице, либо через селениум либо делать доп запрос

Comments

[AlexCruel]

Прости, что беспокою. У меня вопрос - где Вы нашли отдельный запрос? Он в разметке находиться? Я не вижу.. Укажите, пожалуйста)

[Fedgeralt]

на странице есть скрипт

src="/media/minify/b=media/js&f=autocomplete/jquery.mockjax.js,autocomplete/jquery.autocomplete.js,jquery.tabify.js,jquery.lazyload.min.js,jquery.inputmask.js,dtree/dtree.js,wheels_tires.js,batteries.js,jquery.up.js,device.min.js,jquery.lockfixed.js,init.js,menu.js?v9.0.12.0218">

если открыть и посмотреть

https://grach.by/media/minify/b=media/js&f=autocom...

function get_shop_price(id,only)
{$.ajax({type:"get",url:'/cat/get_price/?id='+id+'&only='+only,success:function(data){$('#price_product_'+id).html(data);$(".outboxview").spinner({spin:function(event,ui){if(ui.value>100){$(this).spinner("value",1);return false;}else if(ui.value<0){$(this).spinner("value",1);return false;}}});$('.getlogin').click(function(){getlogin();return false;});},error:function(){$('#price_product_'+id).html('нет предложений');},});}

а если по простому то можно в хроме открыть тулзы на вкладке Network поставить фильтры XHR и увидеть запросы которые делает яваскрипт

[AlexCruel]

Fedgeralt, Спасибо!