Почему ломается кодировка в Python?

Question

[Сергей]

Я хочу урезать текстовой файл до 7 символов.
Пока в текстовом файле латиница - всё идёт хорошо:

#vsem privet
x=open("hello.txt","r+",encoding="utf-8")
x.truncate(7)
#vsem pr

Однако, если в файле есть кириллица - то оставшиеся символы превращаются в мешанину:

#всем привет
x=open("hello.txt","r+",encoding="utf-8")
x.truncate(7)
#все

Что делать, как быть?

P.S: кодировка файлов hello.txt и 1.py - utf-8

Comments

[Ромзес Панагиотис]

Кириллица в представлении UTF-8 занимает 2 байта на букву.
В bashecho -n 'всем привет' | head -c 7
выводит
все�

[Сергей]

Ромзес Панагиотис, то есть, это старая проблема кириллиц, которые "опоздали" к раздаче индексов и были длиннее?
Я видел такое на JS. Тут то же самое?

Answer 1

[Сергей Горностаев]

Кириллические символы в UTF-8 кодируются двумя байтами.

Comments

[Сергей]

То есть, я пытаюсь разрезать бедный кириллический символ пополам??!

[Сергей Горностаев]

Сергей, да, в 7 байт, до которых вы обрезали, вмещается три с половиной символа. Ваш текстовый редактор от половинки сходит с ума, видимо.

[Сергей]

Сергей Горностаев, это же детская ошибка времен клепания страничек на народ.ру! Позор мне.

Answer 2

[Yupiter7575]

Ну для начала, файлы в пайтоне открываются через конструкцию with ... as.
И если возникают проблемы с кодировкой все бегут к божеству по имени io.open

Comments

[Сергей]

А ещё надо бы файл закрывать после работы. Для экономии памяти :-)
Расскажите поподробнее о модуле IO.

[Yupiter7575]

Сергей, with as сам закрывает. А что рассказать про io? Что на самом деле делает этот модуль знает только его создатель... все остальные прочитали ответ на stackoverflow, у них все заработало и теперь они им пользуются. Вам так же советую

Answer 3

[Ромзес Панагиотис]

Python3

with io.open("hello.txt", "r", encoding="utf-8") as f:
     s = f.read() # в строке будут декодированные кириллические символы
     print( s )
     print( s[:7] ) # используем срез