Как использовать юникод в консоли windows с wstring?

Question

[Mars36]

Пробовал самые популярные вариант.
На данный момент прогресс остановился на таком моменте:

system( "chcp 65001" );
    _setmode( _fileno( stdout ), _O_U8TEXT );
    _setmode( _fileno( stdin ), _O_U8TEXT );
    std::wcout << L"строка" << std::endl;
    std::wcout << L"string" << std::endl;
    std::wstring test;
    std::wcout << L"input: ";
    std::wcin >> test;
    std::wcout << test << std::endl;

Получаемый вывод:

Active code page: 65001
строка
string
input: строка

Press <RETURN> to close this window...

Т.е. первые два варианта отрабатывают нормально, но в случае ввода в консоль получаются неизвестные символы.

Как это можно исправить?
Так же как можно решить проблему с тем, что программа принимает аргументы командной строки, которая по умолчанию в 866 и символы в любом случае будут приходить в этой кодировке и сменой кодировки во время выполнения проблему не решить?

Answer 1

[res2001]

Аргументы командной строки не обязательно будут в 866 кодировке, могут быть и в 1251 - зависит от кодировки консоли, которую можно менять консольной командой chcp.
Вообще не стоит использовать юникод в консоли, т.к. виндовая консоль не слишком дружит с юникодом.
Например, если захотите обработать вывод вашей программы каким-нибудь фильтром в батнике, то при юникоде могут быть проблеммы.
Хотя внутри программы вы можете использовать юникод, но в этом случае вы должны будете перекодировать весь ввод и вывод. Не уверен, можно ли настроить стандартную библиотеку, чтобы она сама занималась перекодировкой.
А так в WinAPI есть целый набор консольных функций, в т.ч. можно получить текущую кодировку консоли для ввода и вывода, установить нужную кодировку, перекодировать текст.

Comments

[Mars36]

Юникод используется в конкретном случае при вводе в консоль. В другом случае я бы с ним не заморачивался. В начале мейна я пробовал использовать SetConsoleCP, SetConsoleOutputCP, selLocal. Но результата это не дало, найти другие мне не удалось. Не можете подсказать какие конкретно функции должны быть для этого?

[res2001]

Mars36, Юникод бывает разный: UTF8, UTF16, UTF32 и это только наиболее распространенные варианты и то есть еще и "подвиды". Какой конкретно юникод у вас подается на вход?

Я подозреваю юникод у вас подается в программу из файла с помощью перенаправления stdin.
Тогда можно при вводе в принципе не привязываться к кодировке консоли. Кодировка важна, только когда вы что-то выводите на экран (чтоб правильно отображались символы) или когда начинаете сравнивать 2 строки (они должны быть в одной кодировке).
Вы можете просто прочитать входную строку. При этом не важно какая кодировка консоли будет - прочитается ровно то что будет подано на вход. Вы же читаете не сами символы, а коды символов, коды будут те что были поданы на вход. Кодировка это лишь интерпретация кодов.
Входная кодировка у вас известна. Можно просто применить функцию перекодировки (или парную ей) в требуемую вам кодировку.
В качестве входной кодировки указывайте не ту, что установлена в консоли, а ту что вам известна априори.
Или вы можете внутри программы использовать ту же кодировку, которую ждете на входе. Тогда можно вход не перекодировать.
Выходные сообщения и параметры командной строки потребуется перекодировать, если внутренняя кодировка отличается от кодировки консоли.

Но если входные условия изменятся, например входной файл будет закодирован в другой кодировке, или вместо файла придется читать консольный ввод, то придется модифицировать код. Что бы этого избежать есть смысл в параметрах задавать входную кодировку.