Есть ли в C++ функция преобразующая текст в байты и байты в текст по заданной кодировке?

Question

[SodiTW]

Есть файл с текстом в кодировке UTF8. Текст считывается с помощью ifstream который использует кодировку ANSI.
Нужно взять считаную строку преобразовать в байты по ANSI после чего преобразовать обратно в строку по UTF8.
Есть ли в C++ функция преобразующая текст в байты и байты в текст по заданной кодировке?

Answer 1

[Wataru]

В С++ есть codecvt для конфертации между кодировками.

С помощью его можно читать файлы в utf_8, например, так:

std::ifstream f("file.txt");
std::wbuffer_convert<std::codecvt_utf8<wchar_t>> conv(f.rdbuf());
std::wistream wf(&conv);

Потом читаете из wistream, как будто это обычный cin. Только вместо char нужен wchar_t, а вместо string - wstring.

Comments

[Евгений Шатунов]

Не смотря на все удобство использования, codecvt на данный момент является устаревшей. Ее уберут из стандарта и стандартной библиотеки. Пользоваться ей сегодня уже нежелательно.

[Wataru]

Евгений Шатунов, Печаль... а что ему на замену есть?

[Евгений Шатунов]

Wataru, а вот изюминка в том, что на замену ему пока ничего столь же удобного не придумали.
Лично мне пришлось перестроить код на использование функций из C: mbrtoc16, mbrtoc32, c16rtomb и c32rtomb. И это потому что, снова, не все реализации стандартной библиотеки C++ реализуют эти же функции. Многие разработчики приходят к такому же решению при отказе от codecvt. Иные пользуются тем же ICU и про codecvt даже не вспоминали.

Answer 2

[12rbah]

Получить массив байт c_str
поменять кодировку, либо используйте iconv,
либо https://github.com/unicode-org/icu.
Как по мне первый вариант проще.