Как использовать русские символы из файла в качестве ключа для unordered_map?

Question

[GONJY MONJY]

Доброго времени суток!
Стоит такая задача: посчитать для каждого символа количество его вхождений в файле. Для этого я использую wifstream, дабы получить сам символ, а потом добавляю его в unordered_map, если такого ещё не было. Ну либо инкрементирую количество на единицу.

С английским текстом всё работает отлично, но только не с другими (например, русским и монгольским).

Сам код:

#include <iostream>
#include <fstream>
#include <unordered_map>
#include <Windows.h>

int main(int argc, char* argv[])
{
    SetConsoleOutputCP(65001);

    if (argc == 1) {
        std::cerr << "Error: Alphabet file not specified\n";
        return 1;
    }

    std::unordered_map <wchar_t, int> alphabet;
    std::wifstream alphabet_file(argv[1]);

    if (!alphabet_file) {
        std::cerr << "Error: Alphabet file not found\n";
        return 1;
    }

    if (alphabet_file.is_open()) {
        wchar_t ch;
        while (alphabet_file.get(ch)) {
            if (alphabet.find(ch) != alphabet.end())
                alphabet[ch] = alphabet[ch] + 1;
            else
                alphabet.insert(std::make_pair(ch, 1));
        }
    }

    for (auto i = alphabet.begin(); i != alphabet.end(); i++) {
        if (i->first == '\n')
            std::wcout << "\\n" << ": " << i->second << std::endl;
        else
            std::wcout << i->first << ": " << i->second << std::endl;
    }

    alphabet_file.close();

    return 0;
}

Вот как программа читает английский файл:


А вот как русский файл:


Вот какой первый символ хранит в себе unordered_map, хотя должен был хранить символ русской буквы "З".


Все текста сохранены в обчном файле с форматом .txt в UTF-8. Пробовал менять на UTF-16, но и это не помогло. Вообще нет представления о том, как это починить :(

Answer 1

[Сергей Соловьев]

Попробуй указать локаль - setlocale(LC_ALL, "Russian");

Comments

[GONJY MONJY]

Пробовал уже, только в этом случае программа даже не выводит все символы

[Сергей Соловьев]

GONJY MONJY, тут скорее проблема с кодировкой самого windows и visual studio - надо в настройках поменять на utf-8

[GONJY MONJY]

Плюс я в описании указал, что программа должна читать не только русский, но и, допустим, монгольский

[GONJY MONJY]

Сергей Соловьев, У меня в настройках региона стоит использвоание unicode. Я и включал, и выключал его - никакого результата.
Если вы имеете ввиду настройки в Visual Studio, то я что-то несильно понимаю что вы имеете ввиду
Я также пытался компилить и через clang++ на windows, ну и на Linux через g++ (не знаю зачем, просто хотел убедиться...)

[Сергей Соловьев]

GONJY MONJY, проблема не в коде - а в представлении. текст выводится в какой-то кодировке - надо просто "синхронизировать" кодировку кода и платформы/vs/консоли

[GONJY MONJY]

Честно, даже не очень понимаю как всё это сделать

[Adamos]

GONJY MONJY, есть один классный способ: берешь Форточки и выкидываешь в форточку.
В Линуксах везде нормальный уникод, без копролитных CP866 в консоли, внутреннего представления строк системы (UTF16LE, если не ошибаюсь) и соответствующего результата, когда вы пытаетесь вывести их в UTF8.

[GONJY MONJY]

Adamos, я пытался сделать это не на windows
Я менял и на просто char и cout, и оставлял wchar_t и wcout
Один и тот же результат(
Похоже я вас не до конца понимаю что и как конкретно надо запустить на Linux, чтобы всё работало

[Adamos]

GONJY MONJY, на Лине достаточно сконвертировать файл в UTF-8, читать его в UTF-8, получая int значения символов, использовать их как ключи и потом вывести символы UTF-8, соответствующие этим значениям.
Правда, с wifstream я никогда не работал, как это сделать им - не подскажу. Я бы читал голый поток и разбирал его любой библиотекой, работающей с UTF. Отдельной, которая находится за пару минут, или тем, в чем пишу программы обычно (у меня это wxWidgets).

Answer 2

[Dmitrii]

Используйте std::wstring в качестве ключа.
https://godbolt.org/z/sfTq4nPhj

#include <iostream>
#include <unordered_map>
#include <cwchar>

int main() {
    // Define a wide character string
    std::wstring key1 = L"бла_бла";
    std::unordered_map<std::wstring, int> mp;
    
    mp[L"бла_бла"] = 42;
    std::cout << mp[key1];

    return 0;
}

Для вывода в консоль установите локаль + либу, чтобы нормально итерироваться по строке. Например, вот либа для UTF-8 https://github.com/nemtrif/utfcpp

Comments

[GONJY MONJY]

Dmitrii,
1. Может вы подскажете какую локаль надо использовать?
setlocale(LC_ALL, ".UTF-8")
Я пробовал и utf-16, и ru, и Russian. Ничего не помогло.
Также всё это провернул при замене ключа с wchar_t на wstring

[GONJY MONJY]

И так ли сильно нужна эта либа, которую вы указали? Мне не надо итерироваться по строке. Мне ведь надо получать каждый символ и считать его количество вхождений в файл

[Александр Ананьев]

GONJY MONJY,

#include <iostream>
#include <unordered_map>
#include <cwchar>
#include <locale>
#include <io.h>
#include <fcntl.h>

int main() {
    constexpr char cp_utf16le[] = ".1200";
    setlocale(LC_ALL, cp_utf16le);
    _setmode(_fileno(stdout), _O_WTEXT);

    std::wstring key1 = L"бла_бла";
    std::unordered_map<std::wstring, int> mp;

    mp[L"бла_бла"] = 42;
    std::wcout << key1 << L" - " << mp[key1];;

    return 0;
}

[Александр Прилепский]

Сделайте так:

setlocale(LC_ALL, "ru-RU.UTF8");

    if (argc == 1) {
        std::cerr << "Error: Alphabet file not specified\n";
        return 1;
    }

    std::unordered_map <wchar_t, int> alphabet;
    std::wifstream alphabet_file(argv[1]);

    if (!alphabet_file) {
        std::cerr << "Error: Alphabet file not found\n";
        return 1;
    }
    alphabet_file.imbue(std::locale("ru-RU.UTF8"));

Дальше по Вашему коду. И все будет норм(если, конечно, и код и входной файл в кодировке UTF-8.

Answer 3

[Freeman]

Локаль тут вообще не причем, если исходный файл в UTF-8 или UTF-16.

Файл надо считывать в память целиком. Если в UTF-8 — преобразовывать в UTF-16, чтобы получить те самые wchar, потом использовать их как ключи.

Comments

[Everything_is_not_so_bad]

Файл надо считывать в память целиком.

Чем это обосновано?

[Freeman]

Иерокопус Таманский, переменным числом байт на символ в UTF-8.

Answer 4

[Александр Прилепский]

Сделайте так:

setlocale(LC_ALL, "ru-RU.UTF8");

    if (argc == 1) {
        std::cerr << "Error: Alphabet file not specified\n";
        return 1;
    }

    std::unordered_map <wchar_t, int> alphabet;
    std::wifstream alphabet_file(argv[1]);

    if (!alphabet_file) {
        std::cerr << "Error: Alphabet file not found\n";
        return 1;
    }
    alphabet_file.imbue(std::locale("ru-RU.UTF8"));

дальше Ваш код. И все будет норм( если, конечно, и файл .cpp и входной файл в кодировке UTF-8)

Comments

[Александр Прилепский]

Небольшое уточнение: компилятор из Visual Studio(cl.exe или clang-cl.exe).