Существует ли тип/класс или какой-то подход для работы с Unicode String на С++?

Question

[sitev_ru]

Какой тип/класс строки лучше всего использовать для работы в C++ со строками Unicode? Может есть какой-нибудь общий, эффективный подход?

Думал в сторону wstring, но заглянув в Википедию, прочитал следующее:

В Windows API тип wchar_t именуется как WCHAR и имеет фиксированный размер 16 бит, что не позволяет кодировать весь набор символов Unicode (больше 1 миллиона).

После этого задумался, как же это реализовано в QString:

QString хранит строку 16-битных QChar, где каждому QChar соответствует один символ Unicode 4.0. (Символы Unicode со значениями кодов больше 65535 хранятся с использованием суррогатных пар, т.е. двух последовательных QChar.)

Пишу не на Qt... Как быть?

Answer 1

[Don Kaban]

utfcpp.sourceforge.net

Можно немного ненависти? Спасибо.
Вопрос "какие есть библиотеки для XXX в языке YYY " - создан для поисковых систем. Ну почему вы не пробуете задать этот вопрос не живым людям на тостере (или, в особо тяжелых случаях - сразу на SO ), а бездушным роботам на яндексах, гуглах и даже (не дай бог, конечно) богопротивных бингах всяких?
Нет, ну сами подумайте, сплошные же плюсы - никто не нудит, ответ (тысячи ответов!) - мгновенен, и в резюме можно указать такой редкий сегодня скил - "умею искать в гугле". Сплошной профит.

Comments

[von6yka]

А потом ищешь в гугле проблему, и находишь только темы вот с такими ответами.

Answer 2

[Ilya Evseev]

В Windows API тип wchar_t именуется как WCHAR и имеет фиксированный размер 16 бит, что не позволяет кодировать весь набор символов Unicode (больше 1 миллиона).

1) Это проблема Windows, а не проблема приложения. Решать ее в приложении = городить костыли.

2) Все основные символы в UTF-16 поместились. Не будет большой беды, если приложение не сможет работать с какими-нибудь древнекитайскими иероглифами.

Лучше всего использовать стандартные классы и не париться.

Comments

[sitev_ru]

просто взять wstring?

[Ilya Evseev]

sitev_ru: да.

[maaGames]

sitev_ru: Если используешь MFC или ATL, то лучше CString. В нём реализована конвертация между acsi и unicode.

[Freeman]

Windows научилась штатно работать с суррогатными парами еще в XP, так что проблем нет. Суррогатными парами кодируются не только древнекитайские иероглифы, но и смайлики, например. Вконтактик так делает. "Верхний юникод" ближе, чем кажется.

Answer 3

[Александр Ручкин]

Уникод можно кодировать даже с char, используя UTF8.

Comments

[sitev_ru]

Пусть описана переменная s:

char *s;

Теперь положу как-нибудь в s строку "Привет, мир!" в формате utf-8... Теперь хочу взять 3-ий символ как это сделать и куда его положить?

[Александр Ручкин]

Во-первых, зачем вам это нужно? Во-вторых, в общем случае вы не сможете этого сделать, даже если у вас будет не char, а какой-нибудь 32-битный тип, так как он будет кодировать не символ, а unicode code point.

[Александр Ручкин]

Вот, например: en.wikipedia.org/wiki/Combining_character, ў - один символ, хотя и представлен двумя code point'ами.

[sitev_ru]

VoidEx: зачем нужно? ко мне в программу приходит строка в utf-8... как дальше с ней работать?

[Александр Ручкин]

Я спрашиваю, зачем вам нужно третий символ менять? Работать с ней, как обычно. Читать и выводить, куда требуется. Поиском по ней можно орудовать. Но зачем нужен какой-то энный символ?

[sitev_ru]

ну если так ставиться задача не только читать и выводить, а ещё и менять саму строчку)

[Александр Ручкин]

sitev_ru: ну напрашивается вопрос, что вы хотите менять? Менять 3-й code-point - неясно, зачем это может быть нужно, какой смысл этой операции, там же не буква в общем случае. Подстроку на подстроку менять можно как обычно, найдя вхождение и заменив, UTF8 позволяет. Но если уж очень хочется, возьмите, например, utfcpp.sourceforge.net/, там можно преобразовать в UTF32, для этого подойдет std::basic_string например.

[Александр Ручкин]

sitev_ru: по вашему примеру, вам надо не s[2] менять, в поиском найти "и" (в UTF8, это будет std::string длиной 2 байта не считая нуля на конце), а затем заменить на то, что хотите.

[sitev_ru]

хорошо, например, стоит следующая задача: написать две функции... 1. взять символ из строки по номеру и 2. заменить символ строки по номеру... как быть в вашем случае?

[Александр Ручкин]

sitev_ru: Что такое символ? Ещё раз: в юникоде одна буква может занимать несколько code-point'ов. Т.е. даже если у вас UTF32, одна буква может занимать 3 code-point'а по 32 бита каждый. Как тогда взять 2-ую букву? s[1] не сработает, ибо первая буква может занимать s[0], s[1] и s[2], причем ещё и от языка может зависеть, что считается одной буквой, а что нет. Например в одном языке символ æ будет считаться двумя буквами, слитыми воедино, а в другом - одной единственной буквой. Ну и как тогда взять 2-ую букву в слове mæ?

[sitev_ru]

из википедии: "UTF-8 и UTF-16, используют для представления символов переменное число байтов. Символ UTF-32 является прямым представлением его кодовой позиции (Code point). Главное преимущество UTF-32 перед кодировками переменной длины заключается в том, что символы Юникод непосредственно индексируемы. Получение n-ой кодовой позиции является операцией, занимающей одинаковое время. Напротив, коды с переменной длиной требует последовательного доступа к n-ой кодовой позиции. Это делает замену символов в строках UTF-32 простой, для этого используется целое число в качестве индекса, как обычно делается для строк ASCII."

[Александр Ручкин]

sitev_ru: потрудитесь разобраться. "n-ой кодовой позиции" - это и есть code point, и об этом я вам написал, что в UTF32 "будет кодировать не символ, а unicode code point", но это - не буква.

[Александр Ручкин]

VoidEx: Я вам привер привел: y̆ и ў - одно и то же. Первое - 2 code point, второе - 1. Также я привёл в пример æ. В одном языке слово mæ полностью равнозначно mae и может быть им заменено всегда, и потом mæ, состоя из двух code point, содержит на деле 3 буквы. А в другом языке æ - отдельная одна буква. Как вы будете в таком случае брать "3-ю букву"?

[Александр Ручкин]

VoidEx: Я к тому, что операция "взять третью букву" как правило не нужна вообще, а если действительно нужна, то придётся учитывать очень много нюансов. Если же надо заменять подстроки (как в вашем исходном примере, замена "буквы" "и" - это замена подстроки), то это можно с успехом делать и в UTF8.

Answer 4

[sitev_ru]

char *s;
s = utf8_to_char("Привет, мир!"); //присвою в s строку "Привет, мир!" в формате utf-8

Теперь хочу взять 3-ий символ, то есть букву "и", но, ествественно, s[2] выдаст другой результат... хотя в кодировке windows-1251 выдало бы букву "и"...

Comments

[DancingOnWater]

ну а сам исходный файл у вас в UTF-8?

[sitev_ru]

да, в UTF-8

Answer 5

[AxisPod]

Берите libicu если вам нужны богатые возможности по работе с UTF.