Что делать с кодировками в python 3?

Question

[KorwinD]

Собственно, программа сканирует папку с помощью os.listdir() и выводит в консоль все файлы, как только доходит до файла "GoL — копия.dat", то выдает ошибку

File "C:\Users\korwi\AppData\Local\Programs\Python\Python35-32\lib\encodings\cp866.py", line 19, in encode
return codecs.charmap_encode(input,self.errors,encoding_map)[0]
UnicodeEncodeError: 'charmap' codec can't encode character '\u2014' in position
4: character maps to

При смене кодировки .encode() на "utf8", начинает выдавать строку "GoL \xe2\x80\x94 \xd0\xba\xd0\xbe\xd0\xbf\xd0\xb8\xd1\x8f.dat"

Собственно вопрос в том, как заставить консоль выдавать русские буквы и различные символы?

Answer 1

[newpy]

видимо потому что в консоли не utf-8 кодировка. В виндовой консоли до win10 была вообще cp866, в win10 вроде стала win1251, стоило бы уточнить тогда уже какая система, та ли консоль. Потому что проблем с кодировками в python3 нет.

у меня в win10 нормально все

import os
os.listdir()

Выводит
... 'Searches', 'SendTo', 'Tracing', 'Videos', 'главное меню', 'Мои документы', 'Шаблоны' ..., 'GoL - копия.dat'

Comments

[KorwinD]

Стоит win10, консоль обычная.

[newpy]

не пробовал не кодировать? Зачем делаешь encode()? у меня код что привел выше, никаких проблем не вызывает в консоли win 10.

[KorwinD]

newpy: Я расписал что будет, если не кодировать. Собственно у меня проблема в том, что символ "—" в таблице ASCII имеет код не 45 как у тебя, а 8212. Вбей в консоль chr(8212).

[newpy]

'\u2014'

[KorwinD]

newpy: ну собственно как это преобразовать в понятный человеку символ "—"?

[newpy]

попробуй добавь в encode вторым параметром 'replace' или 'ignore'

[KorwinD]

newpy: не уверен, что правильно понял, но на код:
a='—'
print(a.encode('cp1251','ignore'))
Интерпретатор выдает b'\x97'.

[newpy]

нет, надо попробовать взять имя файла целиком, и попробовать его закодировать, и потом раскодировать.
как-то типа str.encode('utf-8').decode('cp866', 'replace'), я просто воспроизвести ситуацию не могу. Просто по умолчанию второй параметр errors = 'strict' и при любой попытке вываливает ошибку, для этих случаев и есть параметры 'ignore', 'replace', и еще пара.
https://docs.python.org/3/library/stdtypes.html?hi...

[KorwinD]

newpy: для воспроизведения ошибки создай файл, в имени которого будет символ "—" набранный способом Alt+0151.

[KorwinD]

newpy: на str.encode('utf-8').decode('cp866', 'replace') выдает "тАФ", уже что-то.

[newpy]

ну тАФ это GoL в кодировке cp866

[KorwinD]

newpy: как раз-таки не GoL, а вот этот самый символ "—".

[newpy]

ну тебе осталось теперь просто поиграть с кодировками и перевести что тебе нужно в нужную кодировку. У обоих методов и encode и decode есть второй параметр.
Можешь вообще разбить строку имени файла по пробелам, и отдельно кодировать-раскодировать.
str = 'GoL - копия.dat'
filenamelist = str.split(' ') # ['GoL', '-', 'копия.dat']
filenamelist[1] - будет твое тире. Кодируй-декодируй как хочешь, можешь вообще удалить ))))

[KorwinD]

newpy: >поиграть с кодировками
Так Я и не могу понять, что за кодировка. Для utf-8, cp1251 выдается ошибка, для cp866 кракозябра.

[newpy]

str.encode('utf-8').decode('utf-8', 'replace') а так? я же не в курсе тоже что тебе надо.
программа у тебя ругается вообще
File "C:\Users\korwi\AppData\Local\Programs\Python\Python35-32\lib\encodings\cp866.py", line 19, in encode...
то есть пытается закодировать в cp866 и вылетает ошибка. Стоило бы давно кусок программы сюда выложить и может было бы яснее.

[KorwinD]

newpy:
import os
a=os.listdir("C:\Пространство\Программирование\Python")
a.sort(key=lambda f: os.path.splitext(f)[1])
for i in range(len(a)):
print(a[i].encode('utf-8'))

[newpy]

ну и допиши второй параметр в print(a[i].encode('utf-8', 'ignore или replace')) так не заработает?

[KorwinD]

newpy: нет, результат не изменился.