Как декодировать байты в строку в питон?

Question

[Taylor_Superhero]

soup = content.decode('utf-8')
Пытаюсь декодировать приходящую HTML страницу из байт в строку. Вот ошибка UnicodeEncodeError: 'charmap' codec can't encode character '\xf8' in position 3901: character maps to undefined.
Могу ли я как-то научить UTF распознавать все символы, или может можно игнорировать неизвестные?

Comments

[sim3x]

какой питон
какой софт
какой код

вызывают ошибку?

[abcd0x00]

При неправильном раскодировании через decode() будет UnicodeDecodeError. Так что то, что тут написано про UnicodeEncodeError, - это левая туфта какая-то.

[Taylor_Superhero]

abcd0x00: sim3x: Питон 3.5, получают тело документа через urllib или requests, тело приходит в байтах, нужно распарсить, а сначала декодировать. И это вовсе не левая туфта как вы написали, а особенность. prntscr.com/bwwq8f

[sim3x]

Taylor_Superhero: реквестс сам декодирует

покажи свой код

[abcd0x00]

Taylor_Superhero: В третьем питоне ты никак не получишь такое, потому что у строк нет метода decode().

[Taylor_Superhero]

sim3x: тело приходящего документа приходит с пометкой b' и type() подтверждает что это байты. Не декодирует он. Показать код? Да это три строки prntscr.com/bx5xs4 .

[sim3x]

Taylor_Superhero: тем более скопируй и вставь в вопрос все три строки

Answer 1

[Dimonchik]

юзай chardet для правильной кодировки

универсального решения нет,
но да - можно заменить/выкинуть все не-ascii символы

Comments

[Taylor_Superhero]

chardet ведь только определяет кодировку? Она utf-8. А есть какой-то пример, как реализовать замену или игнорирование методом decode?

[abcd0x00]

Taylor_Superhero: chardet тебе не нужен, кодировка обычно передаётся вместе со страницей в http-заголовках. В питоне она вытаскивается из ответа urllib.request.urlopen(), который передаётся в виде email.message.Message().
python.org. get_content_charset()

[Taylor_Superhero]

abcd0x00: ребят, спасибо конечно, но мне известна кодировка изначально, а вот как пропускать не декодирующиеся символы?

[Dimonchik]

для начала так .decode('utf-8', 'ignore') , ну а потом уже выкидыванием регекспом

[Taylor_Superhero]

dimonchik2013: к сожалению уже пробовал, при игноре тоже срабатывает ошибка. Находил подобную тему на стэковерфлоу, но там что-то не помогли.

[Dimonchik]

на стеке есть ответ, но не в одном топике ) смотрите на смежные топики

[abcd0x00]

Taylor_Superhero: кодировка может измениться на стороне сервера в любой момент, поэтому её надо определять автоматически каждый раз. Иначе ты будешь 1000 раз раскодировать правильно, а 1001 раз раскодировать неправильно.