Как подружить командную строку Windows c юникодом в программе на Python 3.5?

Question

[serkom]

Делаю программу на Python 3.5 Одна из функций программы - вывод HTML из файла в командную строку Windows с подсветкой некоторых тегов разными цветами. Чтение html производится в utf-8. Если вывод оставить также в юникоде, то программа работает только при запуске из командной строки и только с ключевым словом "python". При прямом запуске .py файла, и, соответственно, при запуске полученного с помощью pyinstaller файла .exe программа работает ровно до того момента, когда дело доходит до вывода html, а потом падает с ошибкой:

Traceback (most recent call last)
...
File "C:\...\program.py", line 508, in print_html
print('{1} {blue}{0}{endblue}'.format(line, num, blue='\033[96m', endblue='\033[0m'))
File "C:\Python\Python35\lib\encodings\cp866.py", line 19, in encode
return codecs.charmap_encode(input,self.errors,encoding_map)[0]
UnicodeEncodeError: 'charmap' codec can't encode character '\ufeff' in position 7: character maps to <undefined>

Если для каждой строки файла указать:

str.encode().decode('cp866')

программа при запуске с ключевым словом "python" выдаёт на месте кириллицы крокозябры, а при прямом запуске всё работает почти неплохо. За исключением того момента, что теперь теги неправильно подсвечиваются. К примеру, должны быть подсвечены символы с 45 до знака ">", программа же начинает подсвечивать строку с 25 символа, где находится просто текст, соответственно все дальнейшие теги сдвигаются. Видимо в dos-овской кодировке как-то не так идёт подсчёт символов. А в юникоде программа вообще отказывается что-то выводить. Также для командной строки в коде указан параметр

os.system('chcp 65001')

Как всё-таки сделать вывод в юникоде?

Answer 1

[Sly_tom_cat .]

Все символы unicode просто не могут быть представлены в cp866.
Если вы на входе имеете utf-8 то в нем python 3+ все прекрасно должен обработать.
Если вам на выводе нужно поменять кодировку - то менять ее нужно именно на выводе. Т.е. сначала все форматируете а потом енкодите в нужную кодировку.

Вызов с python и просто исполняемый - различаться в принципе не должны... но возможно у вас две версии питона стоят и с python вы вызываете одну, а при вызове .py по path находится другой.

Comments

[serkom]

Я понимаю, но визуально все символы в cp866 на месте, подсчёт символов при этом часто идёт с ошибкой.
Все строки из файла читаются в utf-8, затем каждая строка сохраняется в список, перед этим энкодится в cp866, а затем выводится. Но такой вариант не подходит в связи с описанной выше проблемой. Необходимо наладить вывод именно в юникоде.
Второй питон я недавно снёс, так что остался только третий питон, в path он и прописан. И конкретно для .py файлов я назначал именно третий питон. Но в итоге всё равно UnicodeEncodeError.

[Sly_tom_cat .]

Не правильно.
Читайте в utf-8, сохраняйте в список в utf-8, раскрашивайте в utf-8, и потом выводите в чем угодно хоть в КОИ8.

Еще раз - перевод в cp866 нужно делать непосредственно перед выводом, т.е. перед выводом полностью обработанной и отформатированной строки в utf-8.

[serkom]

Да, спасибо, действительно проблема решилась. Хочется понять, в командной строке нельзя выходить за пределы 8-битных кодировок и использовать какие-либо другие символы? И даже если стоит Active code page 65001, указывающий командной строке, что у нас юникод, мы всё равно не сможем выводить какие-то спец. символы или иероглифы, которые могут встретиться в html? И обязательно каждую строку с кириллицей надо оборачивать в .encode().decode('cp866')?

[Sly_tom_cat .]

К сожалению про виндовый терминал я вам ничего не смогу толкового посоветовать. У меня linux и в нем все (и GUI и терминал) работают изначально в utf-8. Поэтому никаких сложностей не возникает. Т.е. у программы на входе utf-8, внутри обработка в utf-8, и на выводе - тоже utf-8.