Почему в .txt файле на Linux появляется «лишний» байт?

Question

[Borankin]

Создаю на рабочем столе Linux (Ubuntu 22) пустой текстовый файл 1.txt.
Проверяю в свойствах его размер - 0 байт.
Записываю в файл ровно один любой символ латинского алфавита, сохраняю. Размер файла становится 2 байта.
Почему собственно 2 байта, а не 1 байт?

Символы латинского алфавита кодируются же 8 битами (1 байт).
Если дописать ещё один любой латинский символ или цифру, то размер становится 3 байта.
То есть появление в файле первого символа даёт файлу 2 байта, каждый последующий символ как положено - по одному байту. Если в файле слово из трех букв, то его размер 4 байта и т.д.
Обращаю внимание, что никаких пробелов и переносов строк нет, только латинские буквы (цифры). Регистр букв — т.е. большие прописные или маленькие строчные на результат не влияют. В Debian то же самое. На других дистрибутивах не проверял.

Почему обратил внимание и заинтересовался? Просто накануне вникал в кодирование символов, тестировал немного на Windows 10. Там всё ясно и понятно. Пустой текстовый файл - 0 байт. Каждая латинская буква даёт размеру файла 1 байт. Т.е. всё работает логично.
Итак, откуда лишний байт на Linux и для чего он?

Comments

[Wataru]

Как записываете этот байт в файл? Возможно, там записывается перевод строки, хоть вы его и не хотели записывать.

[Borankin]

Wataru, просто вписываю букву с клавиатуры и сохраняю изменения. Условия сравнения с Windows абсолютно аналогичные.

[Wataru]

Borankin, Ага, т.е. вы в каком-то редакторе вводите символ и сохраняете файл. Что за редактор? Даже если вы используете одну и ту же программу (например, notepad++), вот вообще не факт, что она ведет себя одинаково в разных системах.

Раз уж вы в линуксе, запустите команду `xxd 1.txt` в консоли и приведите ее вывод. Оно выведет файл в 16-ричном формате - там сразу станет видно, что это за 2 байта.

[Viktor T2]

UTF BOM
https://ru.wikipedia.org/wiki/%D0%9C%D0%B0%D1%80%D...

[Viktor T2]

POSIX стандарт требует \n в конце строки
https://stackoverflow-com.translate.goog/questions...

Answer 1

[Rsa97]

Откройте файл в шестнадцатеричном редакторе/вьюере, например wxHexEditor или GHex и посмотрите, что в нём лежит.

Answer 2

[Borankin]

Спасибо всем за ответы и комментарии.
Подведу здесь итог и поясню, что удалось выяснить.

Кратко.
В Linux при создании текстового файла автоматически неявно в конец файла добавляется символ перевода строки (Line Feed - LF, \n). Визуально в графическом текстовом редакторе его никак не видно.

Развёрнуто.
1. Пробовал создавать файл разными способами.
- С помощью консольных текстовых редакторов vim и nano.
- В терминале с использованием перенаправления потока вывода (echo a > 1.txt).
- А также (touch 1.txt), совместно с графическим текстовым редактором.
Результат везде одинаковый (из комментария Rsa97 стало понятно, что результат не везде одинаковый - см. коммент)

2. Ниже приведу примеры открытия файлов с разными символами с помощью утилиты xxd.
Расшифровка в формате (буква = Hex = Bin = symbols)
s = 730a = 01110011 00001010 = s\n
W = 570a = 01010111 00001010 = W\n
a = 610a = 01100001 00001010 = a\n
aa = 6161 0a = 01100001 01100001 00001010 = aa\n

a(+Enter) = 610a 0a = 01100001 00001010 00001010 = a\n\n (тот перевод строки (первый) который задан явно, с помощью Enter, его видно в графическом редакторе, а второй не видно)

a(+Enter)a = 610a 610a = 01100001 00001010 01100001 00001010 = a\na\n

3. Определение кодировки файлов с помощью ( file -i 1.txt) выдаёт у меня такой результат:
1.txt: text/plain; charset=us-ascii

В общем, разобрался что к чему. Ещё раз благодарю за ответы и комментарии.
Между делом, наконец-то понял, что такое UTF BOM )))

Comments

[Rsa97]

Не стоит говорить сразу о всех редакторах.
Например, mcedit ничего не добавляет сам и спокойно создаёт файл из одного символа без переноса строки.
echo тоже можно заставить не добавлять конец строки, для этого есть ключ -n.
touch вообще создаёт пустой файл, а символ конца строки дописывает ваш редактор.

[Borankin]

Rsa97, спасибо!

[My1Name]

Rsa97,

В Linux при создании текстового файла автоматически неявно в конец файла добавляется символ

Это наверно не от ОС зависит... В Windows при записи в файл добавляется 2 байта(?). А позиция курсора при вычислении этих 2-х байт выглядит так:

index+=lineStr.getBytes("UTF-8").length+2;
position=((index-1)-(lineStr.length()+1));

[Rsa97]

My1Name, В Windows конец строки кодируется двумя символами, \r\n или \x0D\x0A.

[My1Name]

Rsa97, тогда почему смещение курсора выглядит как минус -1 или 0? position=((index-1)-(lineStr.length()+1)) Это рабочий код...

Answer 3

[Данил Тунев]

Скорей всего это связано с файловой системой под линукс.