Как правильно построчно считать файл в кодировке utf-8 с помощью getline на c++?

Question

[KorwinD]

Имеется следующий код:

#include <iostream>
#include <string>
#include <fstream>

using namespace std;

void main()
{
	setlocale(LC_ALL, "utf-8");
	wifstream file("Text.txt");
	wofstream file1("Text1.txt");
	wstring str;
	while (getline(file,str))
	{
		wcout << str << endl;
		file1 << str << endl;
	}
	system("pause");
}

В файле Text.txt лежат следующие строки:

dddd
qqqq
яяяя
中華人民共和國

Вывод в консоль такой:

я╗┐dddd
qqqq
╤П╤П╤П╤П
ф╕ншПпф║║ц░СхЕ▒хТМхЬЛ

Но при этом, вывод в файл Text1.txt абсолютно правильный, в отличии от консольного вывода. Во-первых, хотелось бы узнать как сделать правильный вывод в консоль, во-вторых, откуда в первой строке берется "я╗┐".?

Comments

[apro]

Раз вывод на терминал utf-8 хреново работает и system("pause") в конце предположу что это windows? Тогда мусор вначале файла это скорее всего utf-8 bom

[KorwinD]

apro, Действительно, спасибо, от этого можно будет избавиться.

[Евгений Шатунов]

KorwinD ,

откуда в первой строке берется "я╗┐".?

UTF BOM же.

Познакомься с Unicode и UTF поближе. Источников в сети хоть отбавляй.

Answer 1

[profesor08]

Текст который ты выводишь отличается от кодировки в консоли. Поэтому у тебя такой вывод.

Comments

[KorwinD]

А если мне со считанной строкой надо произвести какие-либо действия? Дело в том, что если изменю запись в файл на file1 << str[0] << endl;, то вывод будет таким:

�
q
�
�

А если попрошу мне в консоль вывести количество символов каждой строки, то результат будет таким:
7
4
8
21
Что явно не соответствует действительности, то есть, у меня возникают проблемы с посимвольным анализом строки. Как это исправить?

[MiiNiPaa]

KorwinD: Никак. В С++ не существует средств для работы с кодировками с переменной длиной. Всё заточено на фиксированй размер символа. Либо внешние библиотеки, либо перекодируй после чтения в UCS-16/UCS-32 и используй string16_t/string32_t.

Answer 2

[Александр Ананьев]

Попробуйте такой код чтения из файла

#include <sstream>
#include <fstream>
#include <codecvt>

std::wstring readFile(const char* filename)
{
    std::wifstream wif(filename);
    wif.imbue(std::locale(std::locale::empty(), new std::codecvt_utf8<wchar_t>));
    std::wstringstream wss;
    wss << wif.rdbuf();
    return wss.str();
}

Comments

[KorwinD]

Я попробовал, у меня программа ничего не выводит.

[Александр Ананьев]

KorwinD:
Вот рабочий код (в Windows видимо надо добавить языковой пакет, чтобы консоль поддерживала вывод данных сисмволов).

#include "stdafx.h"
#include <iostream>
#include <sstream>
#include <fstream>
#include <codecvt>
#include <io.h>
#include <fcntl.h>

std::wstring readFile(const char* filename)
{
	std::wifstream wif(filename);
	wif.imbue(std::locale(std::locale::empty(), new std::codecvt_utf8<wchar_t>));
	std::wstringstream wss;
	wss << wif.rdbuf();
	return wss.str();
}

int _tmain(int argc, _TCHAR* argv[])
{		

	auto str = readFile("d:\\temp\\ConsoleApplication1\\Debug\\Text.txt");

	_setmode(_fileno(stdout), _O_U16TEXT);
	std::wcout << str.c_str() << std::endl;

	return 0;
}