Как фиксануть ошибку aiohttp/bs4 UnicodeDecodeError?

Question

[Farmila]

Есть данный код

resp1 = await session.get(url=href, headers=header)
soup1 = BeautifulSoup(await resp1.text(), 'lxml', from_encoding='UTF-8')

Строка soup1 выдаёт ошибку UnicodeDecodeError, странность заключается в том, что - в неасинхонной версии парсера такой ошибки не возникает, поэтому мои подозрения упали на Aiohttp, document.charset выдаёт 'utf-8'
Есть идеи?

Comments

[Модератор]

Не надо ставить как можно больше тэгов. Лучше оставить один, но конкретный, с которым проблема.
См.п.3.1 Регламента.

[Farmila]

GNUBack, а как тогда лучше сделать

Answer 1

[Константин Фещук]

Мне кажется что экземпляр класса bs4 soup уже есть строка в юникоде потому и выходит ошибка. Что-то подобное попробуйте

>>> from bs4 import BeautifulSoup
>>> html = '<a href="http://example.com/">\nI linked to <i>example.com</i>\n</a>'
>>> root = BeautifulSoup(html, 'html.parser')
>>> root.get_text()
# '\nI linked to example.com\n'
>>> root.i.get_text()
# 'example.com'