Как справиться с ошибкой 'utf-8' codec can't decode byte 0xc0 in position 199: invalid start byte?

Question

[Тая]

есть сайт, данные с которого получаются в виде

<h4>Àäðåñà ìàãàçèíîâ</h4><br>\n      <h4>ã. Ðûáèíñê</h4><br>\n      <ol>\n        <li>Óë. Ëüâà Îøàíèíà, ä.5 òåë. [phone]</li>\n

пытаюсь декодить .content.decode('utf-8') так ошибка utf-8' codec can't decode byte 0xc0 in position 199: invalid start byte
если так делаю .content.decode('utf-8', errors='ignore') то получаю
строку

<h4> </h4><br>\n      <h4>. </h4><br>\n      <ol>\n        <li>.  , .5 . [phone]</li>\n        <li>. , . , .10 . [phone]</li>\n

как быть ?

Comments

[spaceatmoon]

Логика мне подсказывает, что тебе в тексте встречается нечитаемый символ. Тебе его надо перевести в html символ.

Попробуй это https://www.php2python.com/wiki/function.htmlspeci...

[milssky]

А с чего вы решили, что там utf-8? Онлайн конвертер показывает cp1252

[sim3x]

Как получаете контент с сайта?

[Тая]

milssky, если вставляю cp1252, то выкидывает 'charmap' codec can't decode byte 0x81 in position 6813: character maps to

[Тая]

все, нашла решение.
.content.decode('Windows-1251')
это в кодировке Windows-1251

[angernicky]

Тая, Забавно. Я тоже пытаюсь декодировать виндовскую кодировку но Windows-1251 в этом случае не работает.

Answer 1

[angernicky]

Я тоже решил этот баг. Вообщем нужно использовать либо CP866, или Windows-1251 кодировку.

Comments

[RBul]

Спас!
Скажи как ты пришел к CP866 ?

Answer 2

[Тая]

все, нашла решение.
.content.decode('Windows-1251')
это в кодировке Windows-1251

Answer 3

[Roman K]

Раскодировать в правильной кодировке

Answer 4

[Алексей Guest007]

.content.encode('utf-8')?