Как фиксануть ошибку aiohttp/bs4 UnicodeDecodeError?

Question

Farmila @Farmila

Beautiful Soup

Как фиксануть ошибку aiohttp/bs4 UnicodeDecodeError?

Есть данный код

resp1 = await session.get(url=href, headers=header)
soup1 = BeautifulSoup(await resp1.text(), 'lxml', from_encoding='UTF-8')

Строка soup1 выдаёт ошибку UnicodeDecodeError, странность заключается в том, что - в неасинхонной версии парсера такой ошибки не возникает, поэтому мои подозрения упали на Aiohttp, document.charset выдаёт 'utf-8'
Есть идеи?

Вопрос задан более двух лет назад
107 просмотров

2 комментария

Подписаться 1 Простой 2 комментария

Не надо ставить как можно больше тэгов. Лучше оставить один, но конкретный, с которым проблема.
См.п.3.1 Регламента.

Answer 1 · 2023-03-29 02:04:50

Мне кажется что экземпляр класса bs4 soup уже есть строка в юникоде потому и выходит ошибка. Что-то подобное попробуйте

>>> from bs4 import BeautifulSoup
>>> html = '<a href="http://example.com/">\nI linked to <i>example.com</i>\n</a>'
>>> root = BeautifulSoup(html, 'html.parser')
>>> root.get_text()
# '\nI linked to example.com\n'
>>> root.i.get_text()
# 'example.com'

Как фиксануть ошибку aiohttp/bs4 UnicodeDecodeError?

Войдите на сайт