Как исправить ошибку с кодировкой?

Question

[danis_2014]

Ввожу такой код:

posts = [eval(x) for x in open('posts1.txt', mode='r', encoding='utf-8')]

Возникает ошибка:

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "<stdin>", line 1, in <listcomp>
  File "<string>", line 1
    \ufeff
    ^
SyntaxError: invalid character in identifier

Но в файле ничего нет (ни пробелов, ни переносов строк)
Так же после исполнения кода:

f = open('posts1.txt', encoding='utf-8')
for l in f:
    print(l)

Выдает ошибку:

File "<stdin>", line 2, in <module>
UnicodeEncodeError: 'ascii' codec can't encode character '\ufeff' in position 0: ordinal not in range(128)

На одном из форумов прочитал, что ошибка связана с кодировкой. Но # -*- coding: utf-8 -*- ничего не дало.
Что это значит? Как это справить?

Answer 1

[Rsa97]

Вам только кажется, что в файле ничего нет, на самом деле там BOM.

Answer 2

[Sly_tom_cat .]

Как бы черным поанглийски написано:
SyntaxError: invalid character in identifier

У вас там в файле неизвестно что - а вы его в eval засовываете построчно, а eval-у не нравится идентификатор, который с обратной косой начинается.
Для начала хотя-бы покажите что в файле.

Comments

[danis_2014]

Изменил пост, прочтите

[Sly_tom_cat .]

\ufeff - легко гуглится - это UTF маркер последовательности байт в кодировке (big- и little-endian UTF-16 кодировки), который большинством текстовых редакторов прячется.

Используйте 'utf-8-sig' вместо 'utf-8' при указании encoding при открытии файла.

[Sly_tom_cat .]

или используйте 'utf-16' потомучто этот символ (BOM) он именно для UTF-16 применяется. Скорее всего ваш блокнот именно в utf-16 пишет.