Как записать текст на русском в файл UTF-8?

Question

[Станислав Карпов]

str_ru = 'строка'

with open('str_ru_text_1.txt', 'w') as f:
    f.write(str_ru)

with open('str_ru_text_2.txt', 'w') as f:
    f.write(str_ru.encode('utf-8').decode('utf-8'))

with open('str_ru_bytes.txt', 'wb') as f:
    f.write(str_ru.encode('utf-8'))

str_en = 'string'

with open('str_en_text_1.txt', 'w') as f:
    f.write(str_en)

with open('str_en_text_2.txt', 'w') as f:
    f.write(str_en.encode('utf-8').decode('utf-8'))

with open('str_en_bytes.txt', 'wb') as f:
    f.write(str_en.encode('utf-8'))

1. Почему файлы 'str_ru_text_1.txt', 'str_ru_text_2.txt' в кодировке Windows 1251, а файлы 'str_en_text_1.txt', 'str_en_text_2.txt' - в UTF-8?

2. Есть ли способ записать utf-8 без str.encode('utf-8')?

3. Где описаны правила записи строк в файл? Где и что почитать по этой проблеме?

Python 3.4, Windows 8.1

Демонстрация в Sublime Text 2 (youtube)

Обратное действие:

with open('str_ru_text_1.txt', 'rb') as f:
    print(f.read().decode('utf-8'))

with open('str_en_text_1.txt', 'rb') as f:
    print(f.read().decode('utf-8'))

Comments

[lololololo]

>а файлы 'str_en_text_1.txt', 'str_en_text_2.txt' - в UTF-8?
Как ты определил по файлу с ascii символами в какой они кодировке?

[Станислав Карпов]

lololololo: см. ветку комментариев к первому комментарию (началось с прикладного софта, закончилось подбором кодировки через decode): https://toster.ru/answer?answer_id=344879#comments_list

Answer 1

[lololololo]

Товарищи, это писец какой-то. Хотели как лучше, а получилось еще более через жопу.

https://docs.python.org/3/library/functions.html#open

mode is an optional string that specifies the mode in which the file is opened. <...> In text mode, if encoding is not specified the encoding used is platform dependent: locale.getpreferredencoding(False) is called to get the current locale encoding. (For reading and writing raw bytes use binary mode and leave encoding unspecified.)

1. Если не указан режим 'b', то по умолчанию файл считается текстовым. В двоичный файл можно писать только байты, в текстовый - только юникод.
(В текстовом режиме файл читается только до EOF ('\x1a'). Как совместить чтение до конца файла и запись юникода в файл? А никак.)
2. Если кодировка не указана, по умолчанию берется locale.getpreferredencoding(False), т.е. результат выполнения будет зависеть от настроек оси! (для винды - от текущей локали). Нахера??? От одних граблей избавились, другие приобрели.

В общем, всегда явно указывай явно кодировку файла.

with open('str_ru_text_1.txt', 'w', encoding='utf-8') as f:

Comments

[Станислав Карпов]

Из вопроса:
>> Python 3.4, Windows 8.1
С codecs не встречался, а с двойкой не работаю. Чем codecs.open от open отличается (в Python 3)?

[lololololo]

codecs - для двойки.

[lololololo]

Вопрос-то старый, он тебя вообще еще интересует?

[Станислав Карпов]

Если только для двойки, то не стоит тратить время на объяснение, спасибо. А с параметром encoding еще тогда разобрались, но без источников. Спасибо за ссылку.

[lololololo]

Я отредактировал, теперь все для тройки. Но может ты ответ уже и так нашел.

[Aziz]

У меня была похожая ситуация, это помогло! Спасибо!

Answer 2

[sim3x]

апд:
обсуждение
https://mail.python.org/pipermail/tutor/2012-July/...

в кодировке Windows 1251

это ты откуда взял?

cat str_*
stringstringstringстрокастрокастрока

file str_ru_text_1.txt 
str_ru_text_1.txt: UTF-8 Unicode text, with no line terminators

file str_ru_text_2.txt 
str_ru_text_2.txt: UTF-8 Unicode text, with no line terminators

file str_ru_bytes.txt
str_ru_bytes.txt: UTF-8 Unicode text, with no line terminators

file str_en_text_1.txt
str_en_text_1.txt: ASCII text, with no line terminators

file str_en_text_2.txt
str_en_text_2.txt: ASCII text, with no line terminators

file str_en_bytes.txt 
str_en_bytes.txt: ASCII text, with no line terminators

Comments

[Станислав Карпов]

Проверял через Sublime Text 2. Добавил в пост ссылку на видео.

[sim3x]

проверка через саблайм это конечно круто.
Но это тоже софт, на питоне под винду и тд и тп
То что саблайм тебе что-то показал, провным счетом ничего не значит

[Станислав Карпов]

Пусть круто, тогда разъясните его поведение. Пользователю важно увидеть читабельный текст, а не иероглифы.

<< То что саблайм тебе что-то показал, провным счетом ничего не значит

Почему? А что значит?

[Станислав Карпов]

Как объясните ошибку "UnicodeDecodeError: 'utf-8' codec can't decode byte 0xf1 in position 0: invalid continuation byte" при чтении из файла 'str_ru_text_1.txt' и её отсутствие при чтении из файла 'str_en_text_1.txt'?

[sim3x]

>Почему?
это тоже софт

>А что значит?
то что саб не смог корректно прочитать

>объясните ошибку
'r' not 'rb'

[sim3x]

with open('str_ru_text_1.txt', 'r') as f:
        print(f.read())

[Станислав Карпов]

Если "str_ru_text_1.txt: UTF-8 Unicode text", то почему при переводе из байтов в символы, фактически, выполнении обратной операции, возникает ошибка?

a = "test"
print(a.encode('utf-8').decode('utf-8'))

Это работает, почему тогда это не работает?
with open('str_ru_text_1.txt', 'rb') as f:
print(f.read().decode('utf-8'))

Ведь, исходя из "str_ru_text_1.txt: UTF-8 Unicode text", в файле 'str_ru_text_1.txt' должно быть записано a.encode('utf-8'), но записано a.encode('cp1251'). В это можно убедиться, выполнив:
with open('str_ru_text_1.txt', 'rb') as f:
print(f.read().decode('cp1251'))

[sim3x]

>почему
это питон3, а не питон2

[Станислав Карпов]

Я об этом с самого начала написал "Python 3.4, Windows 8.1". Или это объяснение такое?

[sim3x]

объяснение.
В ответ, добавлена ссылка на обсуждение текущего вопроса

[Станислав Карпов]

Посмотрел ссылку. Воспользовался

with open('str_ru_text_1.txt', 'r', encoding='utf8') as f:
    print(f.read())

Получил "UnicodeDecodeError: 'utf-8' codec can't decode byte 0xf1 in position 0: invalid continuation byte". Почему же python всё-таки записал в Windows 1251, а не в UTF-8, и чем он при этом руководствовался?

[sim3x]

что вот такой код выдает?

str_ru = 'строка'

with open('__.txt', 'w') as f:
        f.write(str_ru)

with open('__.txt', 'r') as f:
        print(f.read())

[Станислав Карпов]

>> строка
Только проблема осталась. Файл в кодировке Windows 1251, а надо записать в UTF-8.

Падает с ошибкой:

print(f.read().decode('utf-8'))
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xf1 in position 0: invalid continuation byte

str_ru = 'строка'

with open('__.txt', 'w') as f:
        f.write(str_ru)

with open('__.txt', 'rb') as f:
        print(f.read().decode('utf-8'))

Выводит "строка".

str_ru = 'строка'

with open('__.txt', 'w') as f:
        f.write(str_ru)

with open('__.txt', 'rb') as f:
        print(f.read().decode('cp1251'))

[sim3x]

str_ru = 'строка'                                                                          
                                                                                           
with open('8.txt', 'w', encoding="utf-8") as f:                                            
        f.write(str_ru)                                                                    
                                                                                           
                                                                                          
with open('8.txt', 'r') as f:                                                              
        print(f.read())                                                                    

with open('1.txt', 'w', encoding="cp1251") as f:
        f.write(str_ru)

with open('1.txt', 'r', encoding="cp1251") as f:
        print(f.read())

так норм

[sim3x]

hexdump 8.txt
0000000 81d1 82d1 80d1 bed0 bad0 b0d0
000000c

hexdump 1.txt
0000000 f2f1 eef0 e0ea
0000006

[Станислав Карпов]

Да, все отлично. Только написать хотел, что у Лутца в 36-й главе нашел пример. Спасибо.
Насколько я понял, Windows по умолчанию все файлы пишет в Windows 1251, просто файлы только с UTF-8 символами успешно декодируются из Windows 1251 в UTF-8.