Как минимум анализом нулей. В BE будет что-то типа 00 XX 00 XX 00 XX, в LE, соответственно, наоборот: XX 00 XX 00 XX 00. Больше, наверно, достоверно никак.
Разумеется, будет так для закодированных ascii-символов только, так что надо смотреть вероятность появления итд. Для произвольного короткого текста определить будет сложно.
Сложно (или даже невозможно), потому что существует множество валидных code point вида U+00XX U+XX00, которые, очевидно, никак нельзя однозначно детектировать в подобных условиях.
Ну дополнительно думаю анализировать U+D8XX–U+DBXX и U+DCXX—U+DFXX, которые не могут встречаться среди символов и анализировать корректность суррогатных пар, если они есть.
