Кодировки в PC?

Question

[avion]

Здравствуйте, как компьютер понимает какая кодировка у определенного файла? Куда зашиты таблицы кодировок? Когда происходит ввод с клавиатуры, это же ввод ASCII символов?

Answer 1

[Moskus]

Компьютеры вообще ничего сами не понимают, никогда.
У некоторых типов файлов кодировка определяется их форматом, потому программы, которые с ними работают, всегда используют нужную кодировку.
У других типов файлов кодировка указывается в заголовке. Например, в HTML для этого есть тег. Так что программы читают его содержимое и интерпретируют кодировку верно.
Таблицы кодировок никуда не "зашиты". Они могут быть частью операционной системы, могут - частью того или иного софта.
Когда происходит ввод с клавиатуры, ASCII тут не при чем. Операционная система получает скан-код клавиши, а дальше генерирует символ в соответствии с тем, какая раскладка клавиатуры включена в данный момент. При этом, в какой код одного и того же символа это превращается, также зависит от конкретной программы. Например, если в этот момент открыта командная строка, а в ней установлена кодовая страница 866, символ кириллицы превратится в два байта из таблицы символов 866. А если открыт Word, то превратится в символ Unicode из более чем двух байт.

Comments

[Рональд Макдональд]

Таблицы кодировок никуда не "защиты".

Немножечка поправлю - иногда зашиты.
В BIOS, в микроконтроллеры с выводом информации и прочее там.

[Moskus]

Рональд Макдональд, в контексте вопроса это только собьёт автора вопроса с толку.

[avion]

Moskus, А что это за скан-код? он универсален для любой операционной системы? каким образом софт понимает его и конвертирует в нужную кодировку?

[Moskus]

Данил, https://en.m.wikipedia.org/wiki/Scancode
Скан-код - это код, который передает клавиатура, когда с ней что-то происходит. Это не эквивалент символа, это именно код клавиши. А дальше, операционная система интерпретирует этот код в соответствии с тем, какая раскладка клавиатуры установлена и выбрана. И передаёт в приложение уже не код клавиши, а конкретный символ. Именно потому, вы можете набирать текст на разных языках, нажимая одни и те же клавиши. Софт тоже ничего не "понимает" - он так запрограммирован, чтобы читать контекст, в котором запущен в операционной системе. И из этого контекста и данных, получается текст в правильной кодировке.
А дальше его можно, например, сохранить в текстовый файл, который не будет иметь признаков кодировки, и пользователь будет вынужден, когда будет его открывать, выбрать верную.

[avion]

Moskus, получается, что скан-код универсален, он передается софту и интерпретируется в нужную кодировку?

[Moskus]

Данил, не знаю, где вы это вычитали в моих словах. Софт, в большинстве случаев, скан-коды не видит (если это не что-то, что работает с железом).
Поясните, с какой целью вы задаёте свой вопрос. Возможно, зная вашу задачу, я смогу лучше ответить.

[avion]

Moskus, просто стало интересно, каким образом передается информация о вводе буквы в pc и каким образом потом это интерпретируется в определенную кодировку. Вот, к примеру, вводится буква A, что после этого происходит? Каким образом компьютер определяет, что это именно буква A по скан-коду и как передает эту информацию софту? Как я понял, скан-коды на всех клавиатурах одинаковые, следовательно компьютер как-то определяет по нему букву и передает эту информацию софту, который, в свою очередь, по таблице кодировки переводит ее в двоичный код.

[Moskus]

Данил, при чем тут еще двоичный вид?
Я вам уже объяснил последовательность в общих чертах.

Детали уже касаются того, как в конкретной операционной системе реализована работа с вводом текста, работает ли операционная система через BIOS или минуя эту систему, как устроен программный интерфейс операционной системы, как операционная система обменивается событиями с приложениями.

Answer 2

[SagePtr]

Компьютер - не понимает никак, для него файл остаётся последовательностью нулей и единиц.
Программы - в зависимости от формата файла, некоторые форматы позволяют указывать кодировку в заголовках, мета-данных или где-то ещё, в некоторых форматах в спецификации забита определённая кодировка и ничего угадывать не надо, некоторые (например, текстовые редакторы) по набору байт эвристически стараются угадать, не всегда делают это правильно, а в случае с однобайтовой кодировкой полагаются на текущую локаль в системе. Таблицы кодировок - зашиты в сами программы либо в библиотеки, используемые программами для декодирования (например, iconv). Касательно клавиатуры, в раскладке клавиатуры содержится таблица, какую клавишу с какими модификаторами в какой символ преобразовывать, там не ASCII используется (т.к. ASCII позволяет использовать только ограниченный набор символов - цифры, базовую латиницу и основные знаки пунктуации)