Как программа «Блокнот» определяет кодировку файла?

Question

[Qubc]

Создаю в far пустой файл без расширения с кодировкой ansi 1251 или utf8.
Открываю блокнотом, нажимаю "сохранить как" и вижу, что блокнот уже предлагает ansi или utf соответственно.
Как это происходит?

Answer 1

[VoidVolker]

Far при сохранении файла в UTF-8 пишет в начале файла BOM маркер (EF BB BF), указывающий что весь текст далее закодирован с помощью UTF-8 кодировки. А при сохранении в ANSI - ничего не пишет. UTF8 может не содержать BOM - и тогда, определение кодировки лежит на плечах редактора и/или пользователя. Некоторые редакторы анализируя строку умеют определять верную кодировку с ощутимой долей вероятности.

Comments

[UndefinedBehaivor]

UTF-16LE и UTF-16BE тоже содержат такие маркеры, кстати.

[Константин Цветков]

Нет никакого маркера:

Answer 2

[Ezhyg]

Может файл не совсем пустой?

Пустой файл это совсем 0 байт, без потоков и совершенно без какой-либо информации, даже о кодировке. Т.е., он не содержит совершенно никакой информации, совсем, вообще.

только что проверил - создал пустой, "поменял" кодировку на UTF-8+BOM (потому что блокнот с BOM только умеет), сохранил - вуаля, файл стал 3 байта - подсказать, что там, в этих 3 байтах?

Comments

[Qubc]

Окей, я понял, "типа пустой" файл с кодировкой utf8 имеет размер в 3 байта, в hex редакторе видно EF BB BF. Дальше пойдут байты символов.
Но пустой файл в ANSI имеет размер 0 байт и там действительно ничего нет.
То есть, вывод такой:
Блокнот определяет кодировку по первым байтам или их отсутствию, верно?

[Ezhyg]

Qubc, сохрани в блокноте 4 "пустых" файла (там же всего 4 кодировки), да посмотри в двоичном виде, что получается: анси - пусто, юникод - 2 байта, юникод бе - те же байты в обратном порядке, ютф с бом - 3 байта

"Практика - критерий истины"

Да и запомнить и понять так будет намного легче.

[Qubc]

Ezhyg, спасибо!

[Ezhyg]

Qubc, Если помогло - пожалуйста ;). Если не помогло - тогда не за что, но я попытался...

[Qubc]

Ezhyg, немного не по теме, но всё ж позволю себе - а вот в hex редакторах, в колонке где показаны символы, соответствующие тому или иному байту - эти символы уже зависят непосредственно от самого hexa?
Ну, например Fileinsight.
View as hex
C6 20 5A выводит . Z
А другой бы по-своему интерпретировал бы C6, верно?
Кстати,
View as text
Ж Z

[Ezhyg]

Qubc, зависит от таблицы используемой редактором или смотрелкой, ну и от внутреннего "автоопределителя". Порой такой сюр показывает... пока вручную нормально не настроишь :).