Как различить UTF-16BE и UTF-16LE без BOM?

Question

[Марк Бердников]

Собственно интересен алгоритм.

Answer 1

[barker]

Как минимум анализом нулей. В BE будет что-то типа 00 XX 00 XX 00 XX, в LE, соответственно, наоборот: XX 00 XX 00 XX 00. Больше, наверно, достоверно никак.

Comments

[barker]

Разумеется, будет так для закодированных ascii-символов только, так что надо смотреть вероятность появления итд. Для произвольного короткого текста определить будет сложно.

[barker]

Сложно (или даже невозможно), потому что существует множество валидных code point вида U+00XX U+XX00, которые, очевидно, никак нельзя однозначно детектировать в подобных условиях.

[barker]

Вернее, пар code point вида U+ABCD U+CDAB. Ну, мысль понятна :)

[Марк Бердников]

Ну дополнительно думаю анализировать U+D8XX–U+DBXX и U+DCXX—U+DFXX, которые не могут встречаться среди символов и анализировать корректность суррогатных пар, если они есть.