Какую библиотеку использовать для работы с UTF-8?

Question

[diegocoder]

В общем то ответ на данный вопрос уже есть: grigory.info/UTF8Strings.About.html
Проблема в том, что эта библиотека выложена под лицензией GNU GPL. Ищу аналогичную библиотеку но под нормальной лицензией(MIT например). Без wstring и прочих гадостей, нужен просто класс строки, поддерживающей юникод. Чтобы строки этого класса можно было использовать точно так же, как и обычные C++ string. Ещё раз повторюсь - аналогичную той, что доступна выше по ссылке. Гугл выдает монстроуозный ICU и прочее в таком духе, а чего-то простенького как эта библиотека так и не нашел.
Также не помешает ваш собственный опыт реализации юникода в ваших проектах.

Answer 1

[maaGames]

Зачем вам UTF-8? Использовать UTF-8 в рантайме, как минимум не эффективно, как максимум - глупо.
wstring - класс строки, поддерживающий юникод.
UTF-8 - не юникод. Это формат преобразования юникод символов в 8 битные наборы символов. С ними оооочень неудобно работать (даже для сравнения символов придётся использовать специальные функции). Для хранения UTF-8 в рантайме можно использовать "обычный" std::string.
А вот для сохранения на диск юникодовые строки может быть эффективнее преобразовывать в UTF-8, если большая часть текста написана на английском языке. Иначе можно в юникоде и сохранять, разницы по объёму файла не будет.

Comments

[MiiNiPaa]

> Для хранения UTF-8 в рантайме можно использовать "обычный" std::string.
Особенно весело будет, если в строке будут содержаться не-ASCII символы.

> Иначе можно в юникоде и сохранять, разницы по объёму файла не будет.
В каком именно юникоде? UTF-8 это тоже юникод. Если взять UTF-32, то разница будет ощутимая в практически любом случае.

[maaGames]

MiiNiPaa: OK, про std::string я соврал, давно не пользовался им, забыл особенности.

UTF-формат кодирования юникод символов, в котором каждый символ кодируется от одного до нескольких байт (не скажу, сколько максимум, вроде во 6 байт в китайских диалектах). В то же время в юникод строке каждый символ кодируется одним и тем же количеством байт. А в UTF разным. Хоть UTF-8, хоть UTF-32.

[MiiNiPaa]

maaGames: Не путайте универсальный набор символов, который задаёт однозначное сопоставление символа и его АБСТРАКТНОГО кода и кодировки, которые задают соответствие кода символа и его машинного представления.

Единственная официальная кодировка с фиксированной шириной это UTF-32, по очевидным причинам. И UTF-16 и UTF-8 — кодировки с переменной шириной.

[Олег Цилюрик]

MiiNiPaa:

В каком именно юникоде? UTF-8 это тоже юникод.

Не надо ля-ля (особенно объясняя это тем, кто не понимает, и вводя их в заблуждение):

- Unicode - это способ представления многоязычных текстов (таблицы)
- а UTF-8, UTF-16, UTF-32 - это способ кодирования значений, представляющих Unicode представления символа
- UTF-8 - это многобайтный способ кодирования переменной длины, где символ может представляться от 1 до 6 байт
- во всех современных версиях Linux используется по умолчанию только UTF-8 кодирование.

[MiiNiPaa]

Олег Цилюрик: Я в предыдущем посту именно это и написал, нет?

Кстати, я заметил, что я соврал в самом первом посту, так как неправильно прочитал оригинальный ответ: я прочитал "Использовать UTF-8 в рантайме - глупо" и совет использовать std::string и решил что советуется результат конвертирования UTF-8 в что-либо с фиксированной шириной хранить в std::string. Просто хранить байты UTF-8 в строке можно, но опасно: слишком легко использовать какую-либо функцию специфичную для однобайтовых строк. Уж лучше vector

[maaGames]

MiiNiPaa: Не, я советовал использовать std::wstring или аналог и про UTF вспоминать только при необходимости сериализации и то не всегда.

[Олег Цилюрик]

maaGames:

слишком легко использовать какую-либо функцию специфичную для однобайтовых строк.

Только для операций разбора содержимого (типа find()) и в strlen().

Уж лучше vector

Так string это и есть vector, а wstring - vector

[Олег Цилюрик]

maaGames:

Использовать UTF-8 в рантайме, как минимум не эффективно, как максимум - глупо.

До странности "сильное" утверждение... ;-)
Все современные дистрибутивы по умолчанию используют кодировку UTF-8 (файлы и пр.). А все утилиты C/C++ грузят "в рантайме" эти предсталения в байтовые массивы без всяких преобразований ... "как минимум не эффективно, как максимум - глупо."

[maaGames]

Олег Цилюрик: Я неточно выразился. Под рантаймом подразумевал использование вне объекта сериализации. Т.е. любая обработка строк в utf формате превращается в пытку (банально длину строки хрен нормально узнаешь, без использования специальных функций). А записать/прочитать - это я к рантайму ошибочно не причислил.

Answer 2

[Олег Цилюрик]

Если это Linux:
- если вам не нужен контекстный поиск, оператор find STL и т.п., то в C++ string более чем достаточно для хранений и манипуляций с UTF-8
- если вам нужен поиск и вообще разбор контекста, то это wstring, wchar_t и т.д. - это специально создано для представления Unicode в C++
- если вам нужны какие-то преобразования char <-> wchar_t, то для этого у вас группа функций "мультибайт символов" mb*()

А если у вас Windows ... то там и всё связанное с Unicode - через задницу и ... "я скорблю вместе с вами" ;-)
(в более ранних Windows Microsoft пнимали Unicode как UTF-16, в последних не знаю ... Бог миловал)