Как прочесть файл в utf-8 в Python?

Question

[Omniverse]

Здравствуйте.
Создаю файл text.txt с текстом в кодировке utf-8.
В Питоне пишу:

f = open("text.txt", "r", encoding="utf-8")
print(f.read())
f.close()

При запуске файла в консоли выдается ошибка:
UnicodeEncodeError: 'charmap' codec can't encode character u'\ufeff' in position 0: character maps to

Как правильно читать файлы в utf-8?

Comments

[Михаил Игоревич]

Отличный ответ. Строго по существу и все понятно. Теперь я "влет" читаю файлы в любой мыслимой кодировке.

Спасибо!

Answer 1

[Владимир Куц]

Дык а зачем BOM-символ удалять-то? Зачем лишняя ручная работа? Читайте с ним:

import io
import chardet
import os
import codecs

filename = 'test_file.txt'

bytes = min(32, os.path.getsize(filename))
raw = open(filename, 'rb').read(bytes)

if raw.startswith(codecs.BOM_UTF8):
    encoding = 'utf-8-sig'
else:
    result = chardet.detect(raw)
    encoding = result['encoding']

infile = io.open(filename, 'r', encoding=encoding)
data = infile.read()
infile.close()

print(data)

Comments

[Omniverse]

Жесть. Чтобы прочесть с BOM-символом надо подключать 4 библиотеки и писать такой монструозный код?

[Владимир Куц]

Omniverse: а что там монструозного? Проверяем в начале - есть ли BOM-символ - если есть - декодируем в этом формате. Если нет - пробуем автоматом определить кодировку. Это более универсальный вариант, чем каждый раз ступать на грабли из-за проблем с кодировкой. Ладно если вы это для себя, а если клиенту отдавать? К тому же ничто не мешает вам вынести этот код в модуль, и далее одной строкой вызывать его.

[Omniverse]

Спасибо за решение.

Answer 2

[Алексей]

Подозреваю у вас в начале файла есть UTF-8 BOM символ.
Удалите его из файла.

Comments

[Omniverse]

Да, дело в BOM символе. Я создал текстовый файл в обычном Блокноте в windows. Как сохранить его в UTF-8 без BOM я не знаю, хотя это уже не имеет никакого отношения к Python.
Спасибо.

Answer 3

[Nikon_NLG]

# -*- coding: utf-8 -*-
Указали в начале кода?

Comments

[Сергей Горностаев]

У него питон 3, в нём это не нужно.