Какие возникают проблемы при работе с Unicode и какие им есть решения на C++?

Question

[vipermagi]

Пытаюсь комплексно обозреть для себя сферу работы с текстом в целом и с поправкой на Unicode и C++.
Кроссплатформенность тоже хочу учесть.

Вопрос 1: какие существуют известные задачи (если можно полный список :) ) при работе с текстом вообще, для которых в Unicode нужно особое решение?
Вопрос 2: какие есть средства для работы с этим всем в C++ по умолчанию и на сколько они дотягивают / не дотягивают до идеала?
Вопрос 3: дополнительные библиотеки насколько могут оказаться не обходимыми?

На текущий момент определил для себя вот такие задачи:

• Итератор для перемещения по визуальным знакоместам либо по codepoint'ам
  
• Определение размера (байт) подстроки и операции вырезания, вставки и т.п.
  
• Поиск и regex
  
• Перекодировка между UTF-* и другими кодировками
  
• Чтение / запись как содержимого файлов так и путей файловых систем
  

Может быть ещё есть какие-нибудь требующие подхода в Unicode?

Первая мысль - это взять locale.h, regex.h и std::string, и этого хватит. Но думаю эта мысль далека от реальности, вот только не знаю на сколько далека.

Вторая мысль - это не париться и сразу брать в любой проект ICU. Но это жЫрнота и как-то жаба давит.

Answer 1

[sitev_ru]

Посмотри тут https://github.com/sitev/cjCore/blob/master/src/ob... мой класс String. Это UTF-32 строка. Есть свои плюсы и минусы. Можем объединить усилия, написать свой, более правильный String!

Comments

[Adamos]

Для линуксов, например, тот utf32 создаст оверхед и примерно те же проблемы, которые он решает на винде...

Answer 2

[Adamos]

UTF8-CPP - использовал, когда приходилось писать без использования кроссплатформенных фреймворков. Основные проблемы решает.
Главное - привести все входящие строки к utf-8 и не забыть их конвертировать в выходную кодировку, если это требуется. А вся обработка - только в utf-8, готовых решений для этого более чем достаточно.

Comments

[sitev_ru]

UTF-8 и UTF-16, используют для представления символов переменное число байтов. Символ UTF-32 является прямым представлением его кодовой позиции. Главное преимущество UTF-32 перед кодировками переменной длины заключается в том, что символы Юникод непосредственно индексируемы. Получение n-ой кодовой позиции является операцией, занимающей одинаковое время. Напротив, коды с переменной длиной требует последовательного доступа к n-ой кодовой позиции. Это делает замену символов в строках UTF-32 простой, для этого используется целое число в качестве индекса, как обычно делается для строк ASCII.

[Adamos]

sitev_ru: да я в курсе. Только в реальных программах именно посимвольная обработка строк чаще всего некритична. А вот использование чьих-то сторонних библиотек (хотя бы и для интерфейса), скорее всего, потребует приводить их именно к utf-8. Если, конечно, не ограничиваться виндами.