Как автоматически определить что текст в неверной кодировке?

Question

[Довольный Айтишникъ]

Имеется база данных в которую пишет данные сторонняя программа, поставлена задача брать из нее данные для отчетов. В общем все написано и работает кроме одного неудобного момента, в таблице периодически сохраняется текст в неверной кодировке, тоесть выглядит он то так Microsoft PowerPoint - Презентация ремонты то вот так

Закупка ноябрь расходники.docx

и лечится обычным перекодированием из 1251 в utf.
Вопорос, как автоматически определять что текст сохранен неверно кроме как проверять в нем наличие символов °ЂЃ? Может есть другой, более грамотный способ?

Answer 1

[Ivan Arxont]

https://www.codeproject.com/Articles/17201/Detect-...

Answer 2

[d-stream]

Например можно подсмотреть реализацию автодетекта кодировок в far manager. Ну или погуглить подобное. Обычно хранят статистически характерные коды символов - начинают читать файл до более-менее однозначного получения статистики и предполагают кодировку. far определяет кодировку достаточно успешно в большинстве случаев.

ну или когда есть некие хинты типа начинается файл с русского текста - то можно тупо считать количество попадающих в список русских букв символов в нескольких вариантах перекодирования)

Comments

[Довольный Айтишникъ]

Это если текст в файле, а тут текст в базе и отдается sql запросом, а там встречаются вот такие "корявые" записи.

[#]

Довольный Жизнью,

Это если текст в файле, а тут текст в базе

в чем разница? читать из файла или из базы - это источник текста. но работать же вы будете со строкой в памяти, не так ли?

сам процесс выяснения битости кодировки не зависит от источника текста

другой вопрос - может можно где то причины ошибки и устранить их. но это видимо на стыке базы и сторонней программы

[Довольный Айтишникъ]

#, ну вот отправили вы запрос и в ответ вам пришла строка Закупка ноябрь расходники как определить что она в неверной кодировке? Сейчас я ищу в ней наличие одного из символов °ЂЃ и если нахожу то переконвертирую, но мне кажется это костыль, поэтому и задал вопрос.

[#]

Довольный Жизнью, а если бы была библиотечная функция? не костыль?
вынесите в библиотеку! и будет красиво ;)))
..особенно если оформить как метод-расширение для string

[#]

Довольный Жизнью, суть то проблемы не меняется. другой вопрос, раз уж вы знаете что вариантов ошибки мало, то у вас и решение относительно компактное. метод с претензией на универсальный (достойный помещения в библиотеку) будет иметь существенно более сложный анализ наиболее вероятной ошибки кодировки. просто спрячет его "под капот"

[d-stream]

#, для string нехорошо - ибо они Unicode в С# так что тащить надо byte[] в том или ином виде... что может потребовать слегка пройтись ершиком по уровню доступа к базе.

[#]

d-stream, подозреваю что Довольный Жизнью на самом деле вполне себе решил проблему, просто надеется на существование некоей правильной библиотечной функции на тему определения кодировки

а таковой функции:
1 - нет. по тому что задача сильно зависимая от контекста и не однозначная
2 - да и не нужна, с учетом малого спектра вариаций в данном контексте

но тогда нет и костыльности. и возможно не так все страшно со строками (сам не пробовал)