Как перевести KOI8 в UTF на C/C++?

Question

[jonasas]

Из остальных кодировок (CP1251 итд) я конвертирую с помощью boost::locale::conv::to_utf.
Для работы с подобными кодировками boost рекомендует boost::locale::util::base_converter (тут).

Я так и не понял, как ей пользоваться. Тут есть краткая справка по преобразованию в юникод, но я не понимаю как с этим работать.

Возможно, есть другие варианты (без boost), но мне не хотелось бы тянуть ещё одну громоздкую библиотеку.

Помогите, пожалуйста!

Comments

[Станислав Макаров]

А что конкретно не получилось? Ну вернула она вам base_converter, там был NULL или объект? Если объект, то почему не получилось им переконвертить?

[jonasas]

Станислав Макаров: Так вот не понятно, что с этим объектом делать. В документации пишут, что метод base_converter::to_unicode "Convert a single character starting at begin and ending at most at end to Unicode code-point.". Если он конвертирует single character, то для чего ему тогда длина строки? И даже после того как он сконвертирует, что именно он возвращает? И что он делает с первым аргументом?

[Станислав Макаров]

@jonasas
> Если он конвертирует single character, то для чего ему тогда длина строки?
разумеется потому что single-character Юникода может представляться несколькими байтами. char в C++ - это БАЙТ. Unicode может кодироваться по-разному, но в том же UTF-8 длина ОДНОГО символа юникода может варьироваться от 1-го до 4-х байт (или даже до 6, не помню точно). Сохраните русский текст в UTF-8 и посмотрите HEX-редактором содержимое такого файла. Там каждая расская буква будет кодироваться ДВУМЯ байтами. Поэтому функция и принимает указатель на конечный символ (чтобы знать, до какого места можно идти при поиске верной последовательности в исходной кодировке, чтобы не проехаться по чужой памяти). Конечно в koi8-r символы будут однобайтовыми, но это ж общий интерфейся для всех кодировок.
ОДНАКО функция перекодирует только ОДИН юникод-символ, и если она находит валидную последовательность байт, то сдвигает первый аргумент на начало следующей последовательности (если вы внимательно посмотрите, первый аргумент передается по ссылке, что как бы намекает).
Таким образом, рецепт очень простой: берем байты строки в исходной кодировке, передаем в эту функцию два указателя - первый будет переменным - функция будет САМА его двигать в процессе перекодирования, второй - постоянным - это будет конец исходного байтового буфера. Далее в цикле вытаскиваем по одному символу, пока а) функция возвращает НЕ ошибку (т.е. валидный символ) б) строка не закончилась, т.е. первый указатель не равен второму (конечному). Вот и все.

[jonasas]

Станислав Макаров: Спасибо, я примерно так и думаю, но не получается до конца в голове всё уложить)
А где будет оказываться результат перекодировки каждого байта koi8? На месте оригинального байта?
И как мне тогда их переводить в UTF8? Ведь, у кириллических символов UTF8 размер 2 байта.

[Станислав Макаров]

jonasas
> А где будет оказываться результат перекодировки каждого байта koi8?
А возвращаемое значение функции для чего сделано?) Там как раз uint32_t, т.е. 4-х байтовый инт. Это символ Юникода "как есть", в кодировке UTF-32 (она же UCS-4). Цитирую википедию (https://en.wikipedia.org/wiki/UTF-32):
> UTF-32 (or UCS-4) stands for Unicode Transformation Format 32 bits. It is a protocol to encode Unicode characters that uses exactly 32 bits per Unicode code point. This makes UTF-32 a fixed-length encoding, in contrast to all other Unicode transformation formats which are variable-length encodings

Вот тут как раз и написано, что кодировка дает постоянный размер символа в 4 байта (32 бита) в отличие от остальных.

Чтобы перевести в UTF-8 вам теперь нужно ЗАКОДИРОВАТЬ ваш набор uint32_t уже ДРУГИМ ковертером в UTF-8 с помощью www.boost.org/doc/libs/1_55_0/libs/locale/doc/html... - вот смотрите, она делает все с точностью до наоборот - принимает символ Юникода (uint32_t) и пишет его по указанным адресам (она-то вам и запишет 2 байта для каждого символа кириллицы), и возвращает либо количество записанных БАЙТ (т.е. на сколько вы должны сместить указатель begin при следующем вызове функции), либо ошибку.

[AtomKrieg]

может этот код из pastebin вам поможет
pastebin.com/ygbMFWQX
Для koi8 setlocale (LC_ALL,"Russian_Russia.866");

Answer 1

[AxisPod]

А зачем вам использовать вообще util. Используйте именно to_utf, разве boost не поддерживает koi8? Смотрите, есть ли необходимая вам локаль в системе, если нет, надо сгенерировать. Чем вас не устраивает вариант

generator gen;
std::locale loc= gen().generate("ru_RU.koi8-r");
std::string utf8_string = to_utf<char>(koi8_string, loc);

Возможно понадобится поднастроить генератор разве что.

P.S. Пофиксил название локали.

Comments

[jonasas]

Как я понимаю, надо на каждой машине для этого генерировать локаль? Или generator::generate() этим и занимается?

[AxisPod]

Ага, он справится. У нас на сервере вроде как справляется. при условии, что локалей в системе нет.

Answer 2

[d'Ivan]

Libiconv?