Как перекодировать строку состоящую из «крякозябов»?

Question

[Максим]

Никак не удается побороть кодировку
есть у меня строка с такими чудесными символами
text = '�осиф Сталин'
это ответ от api tweeter, делаю стандартную процедуру
text.encode('utf-8').decode('cp1251')
получаю

# cp1251
'Р\xa0пїЅР\xa0ѕСЃР\xa0ёС„ Р\xa0ЎС‚Р\xa0В°Р\xa0В»Р\xa0С‘Р\xa0Р…'
# iso-8859-5
'а\xa0яПНа\xa0б\x95аЁа\x83а\xa0б\x91аЁт\x80\x9e а\xa0а\x8eаЁт\x80\x9aа\xa0ТАа\xa0ТЛа\xa0б\x91а\xa0а\x85'

Как с этим бороться?

Вот что получается по совету Даниила

> /home/
-> print(n.encode('cp1251', 'ignore').decode('utf8', 'ignore'))
(Pdb) n
 
> /home/
-> print(n.encode('cp1251').decode('utf8'))
(Pdb) n
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc8 in position 0: invalid continuation byte

Comments

[Владимир Куц]

А что у вас с кодировкой в консоли?

[Максим]

Владимир Куц: en_US.UTF-8

[Владимир Куц]

maximkv25: а попробуйте ru_RU.UTF-8

Answer 1

[DDDsa]

Попробуйте наоборот
text.encode('cp1251').decode('utf8')

Comments

[Максим]

UnicodeEncodeError: 'charmap' codec can't encode character '\ufffd' in position 1: character maps to
Исходный текст я так понимаю он отдает в utf-8

[DDDsa]

maximkv25: У вас парочка символов побилась при копировании. Вы полученную от сервера строку пытаетесь кодировать или то, что скопировали куда-то для тестов?

Можно проигнорировать ошибки вот так:

s.encode('cp1251', 'ignore').decode('utf8', 'ignore')

[Максим]

Даниил: Попробовал на серваке, выбивает с ошибкой, с игнорированием возвращает пустую строку ' ', с пробелом почему-то (

[DDDsa]

maximkv25: Ну вот строка из примера кодируется успешно, за исключением первых двух символов. Если это именно то, что приходит от сервера, то должно работать:

>>> s='�осиф Сталин'
>>> s.encode('cp1251', 'ignore').decode('utf8', 'ignore')
'осиф Сталин'

[Максим]

Даниил: Это блин мистика! в ide все работает, на серваке пустая строка(

[DDDsa]

maximkv25: А что показывает, если сделать
print(n)
и
print(n.encode('cp1251')
?

[Максим]

Даниил:

# print(n)
�осиф Сталин
# print(n.encode('cp1251'))
b'\xc8\xee\xf1\xe8\xf4 \xd1\xf2\xe0\xeb\xe8\xed'

[DDDsa]

maximkv25: Чертовщина какая-то
print(n.encode('cp1251').decode('cp1251'))
???

[Максим]

Даниил: Р�РѕСЃРёС„ Сталин
все те же иероглифы

[DDDsa]

maximkv25: maximkv25: b'\xc8\xee\xf1\xe8\xf4 \xd1\xf2\xe0\xeb\xe8\xed' - это code-points нашей строки в кодировке CP-1251. Можно в этом убедиться, запустив

b'\xc8\xee\xf1\xe8\xf4 \xd1\xf2\xe0\xeb\xe8\xed'.decode('cp1251')

Но почему при выводе в консоль раскодированной строки он выдает кракозябры (как будто строка в UTF8 сконвертирована в 1251) - я не понимаю, учитывая, что кодировка в консоли - UTF8.

А просто
print('Иосиф Сталин')
он может?

[Максим]

Даниил: Такого еще не было, print теперь отдает Крокозябы эти, хотя до этого я работал и никаких проблем не возникало, я так понимаю это проблема с сервером теперь?

[DDDsa]

maximkv25: Явно что-то с настройками в консоли.
Может быть, вот это поможет?
https://habrahabr.ru/post/117236/

[antofa]

maximkv25: какая кодировка в консоли? может быть просто попробовать print(s.decode('cp1251')) ?

[Максим]

antofa: en_US.UTF-8
нельзя декодировать строку