Почему не выдаёт значение? Пишет ошибку get_text(), что делать?

Question

[nauq0k]

from bs4 import BeautifulSoup
import requests

HOST = "https://www.anekdot.ru"
URL = "https://www.anekdot.ru/release/anekdot/year/"
HEADERS = {
"accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.84 Safari/537.36 OPR/85.0.4341.72 (Edition Yx GX)"
}

def get_html(url, params=""):
r = requests.get(url, headers=HEADERS, params=params)
return r

def get_content(html):
soup = BeautifulSoup(html, "html.parser")
items = soup.find_all("div", class_="topicbox")
cards = []

for item in items:
cards.append(
{
"title": item.find("div", class_="text").get_text()
}
)
return cards

html = get_html(URL)
print(get_content(html.text))

Comments

[soremix]

Оформляйте правильно код, и прикладывайте ошибку. Не первый раз замечание делают

[Сергей]

from bs4 import BeautifulSoup as bs
import requests



url = "https://www.anekdot.ru/release/anekdot/year/"
headers = {"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.84 Safari/537.36 OPR/85.0.4341.72 (Edition Yx GX)"}

r = requests.get(url, headers = headers)

soup = bs(r.text, 'lxml')
content = soup.find_all('div', class_ = 'topicbox')
topics = [item.get_text(strip = True) for item in content]

Вы пытаетесь список елементов заспамить словарями с одним ключем и разными значениями, а зачем?

cards = []

for item in items:
	cards.append({"title": item.find("div", class_="text").get_text()})

Есть ряд других моментов непонятно зачем которые делаете.
1. Зачем в функции принимаете значение по умолчанию "params" которое равно пустой строке, а в итоге ничего туда не передаете.
2. в headers передаете "accept" а зачем? )

[nauq0k]

YOin, чтобы проверить работу кода и продролжить работу дальше

[nauq0k]

YOin, Спасибо большое!

Answer 1

[igorzakhar]

У тебя ошибка: AttributeError: 'NoneType' object has no attribute 'get_text'
Решение в лоб:

...
for item in items:
    div = item.find("div",  class_="text")
    if div:
        cards.append(div_text.get_text())
...