Подскажите декодер неизвестных науке кодировок

Question

[mrskam]

Подскажите, пожалуйста, opensource java-библиотеку или консольную утилиту (на крайняк подойдет что угодно другое) способную восстановить текст с неверно наложенными кодировками, например koi8-R -> utf-8 -> win1251. Проще говоря, аналог Лебедевского декодера, только серверный. Заранее спасибо.

Answer 1

[Владимир Мартьянов]

enca+enconv?

Answer 2

[rozhik]

Если (на крайняк подойдет что угодно другое), то расскажу как это работает:
Берем текст, разбиваем его на слова, и несколько первых ищем в разных кодировках в ispell-dictionaries. Как только пару слов совпало — профит.
Есть несколько улучшений к идее.
1) используем только первые 6 букв слова.
2) используем данные частотного анализа для получения отсортированного списка преобразований кодировок.
3) используем цепи для списка кодировок (ищем часто встречающиеся слоги).

Comments

[QZip]

Причем второй твик позволяет определять не только кодировку, но и язык текста, но не работает для очень коротких текстов.

[rozhik]

все 3 позволяют определить с долей вероятности язык, причем чем больше текста тем точнее.

Answer 3

[Кайгородов Алексей]

Наберите mail decoder в Гугле, первая и третья ссылки.

Comments

[mrskam]

Нужно именно серверное решение, сервис в любом виде не подойдет.

[Николай Турнавиотов]

чем «серверное» решение отличается от консольного (en|i)conv?
Кто мешает дописать обёртку на каком-нить php для загрузки файлов на сервер, конвертинга и выдачи юезру обратно?