Как максимально корректно определить кодировку текстового файла (из всех существующих)?

Question

[xmoonlight]

Весь вопрос - в заголовке.

Ищу алгоритм для 100%-го открытия (чтения и отображения) текстовых данных из любого текстового (ничем не незашифрованного!) файла, находящегося в любой (из известных на сегодняшний день) кодировке без каких-либо проблем.

Comments

[d'Ivan]

А для каких языков?

[Константин Цветков]

Спросите у Штирлица.

[xmoonlight]

Роман Мирр, для всех.

[Lynn «Кофеман»]

Для 100% определения такого алгоритма 100% не существует

[dollar]

Вот вам текст в кодировке UTF-8 (потому что данный сайт работает в этой кодировке):
Привет, Тостер!
Вроде бы всё просто.
Но меня всё же мучает вопрос, а действительно ли кодировка определена правильно? И как понять, что мы не ошиблись с выбором кодировки?

[d'Ivan]

dollar, скорее всего должны быть какие-то тесты. Например, слова должны быть преимущественно из одного алфавита, т.е. диапазона кодовых точек.

Answer 1

[Dimonchik]

https://chardet.readthedocs.io/en/latest/faq.html

Comments

[xmoonlight]

Спасибо, посмотрел!
Хорошая либа, если использовать то, что есть и прямо сейчас.
В это либе - они используют обученные модели НС: это "чёрный ящик".

Мне хотелось бы получить сам алгоритм с возможностью его доработки и оптимизации (чтобы всё понимать, как происходит; код мне - не нужен, но если есть - пусть как бонус будет).

PS: В целом - это 90%-е решение задачи (хотелось бы больше)!
Подождём немного, может кто предложит прям алгоритм... (если нет - то выберу решением)

[Dimonchik]

ну там же ссылка на откуда взято )) можно и там посмотреть ))

[xmoonlight]

dimonchik2013, Таки я написал уже:

Спасибо, посмотрел!

))

Answer 2

[Григорий Боев]

На c# пользуюсь такой конструкцией, найденной в сети:

public static Encoding DetectFileEncoding(string fileName)
        {
            byte[] buf = new byte[12000];
            int length;
            using (FileStream fstream = File.OpenRead(fileName))
            {
                length = fstream.Read(buf, 0, buf.Length);
            }

            Ude.CharsetDetector d = new Ude.CharsetDetector();
            d.Feed(buf, 0, length);
            d.DataEnd();
            return Encoding.GetEncoding(d.Charset);
        }

Сама библиотека

Comments

[xmoonlight]

Спасибо!
Не особо оно новое и это - порт Mozilla Universal Chardetector (UCD).

A C# port of Mozilla Universal Charset Detector.

https://github.com/errepi/ude