Как кодировать строку с символами из разных кодировок?

Question

[Олег Правдин]

>>> a='привет, '.encode('utf-8')
>>> b='мир!'.encode('cp1251')
>>> c=a+b
>>> c
b'\xd0\xbf\xd1\x80\xd0\xb8\xd0\xb2\xd0\xb5\xd1\x82, \xec\xe8\xf0!'

Как без потерь символов закодировать строку с в UTF-8?

Comments

[Олег Правдин]

Проблема не из разряда сферических в вакууме: программа парсит web страницу (utf-8), но на ней местами встречаются кавычки из cp1251 (\xab и \xbb). Выпиливать эти байты не помогает: теряется буква "л" из utf-8. Что делать?

Answer 1

[Олег Правдин]

Решил проблему через костыль: так как в моем случае конфликт только с кавычками "ёлочками", я проверил, относятся ли байты \xab и \xbb к буквам Ы (\xd0\xab) и л (\xd0\xbb). Если нет, то заменял на пробел.

text=bytes()
i=0
while  i<=len(rawtext)-1:
	if rawtext[i]==187 and rawtext[i-1]!=208:
		text+=bytes([32])
	elif rawtext[i]==171 and rawtext[i-1]!=208:
		text+=bytes([32])
	else:
		text+=bytes([rawtext[i]])
	i+=1
return(text.decode('utf-8', 'ignore'))

Answer 2

[Slava Kryvel]

Можно вопрос? Зачем Вам это?
Потому как все равно данная строка не будет нигде* отображаться правильно. Т.к. большинство софта используют одну таблицу кодировки для всего контента
Если всё же есть на это веская причина, то держите данные в бинарном виде и не склеивайте их как строки.

Comments

[Олег Правдин]

К сожалению причина есть: программа парсит web страницу (utf-8), но на ней местами встречаются кавычки из cp1251 (\xab и \xbb). Выпиливать эти байты не помогает: теряется буква "л" из utf-8.

[Slava Kryvel]

Олег Правдин: а чем/как парсите? и можно ли взглянуть на ссылку?

[Олег Правдин]

Slava Kryvel: страничка только с авторизацией. Парсю... паршу.. произвожу парсинг Grab'ом

[Slava Kryvel]

Олег Правдин: https://docs.grablib.org/en/latest/grab/settings.h...
попробуйте с опциями, и посмотрите какой будет результат. Вообще очень странно это все. если страница в utf-8 то кавычки правильно не отобразятся всё равно, т.к. браузер или парсер будет думать что это utf-8 а на самом деле нет)

[Олег Правдин]

Slava Kryvel: опции пробовал, все тщетно. А кавычки очень лихо отображаются, видимо браузеры умные