Как прочесть большой файл около 2 млн строк на C#?

Question

[Тимофей]

Коллеги, есть задача по обработке файла из 2 000 000 строк. Применение класса StreamReader дает возможность обработать только порядка 100 000 строк, а дальше возникает ошибка "Additional information: CLR не удалось перейти из COM-контекста 0x103bec8 в COM-контекст 0x103bf80 за 60 секунд. Наиболее вероятно, что поток, владеющий контекстом/апартаментом назначения, находится в режиме ожидания или выполнения очень длительной операции без прокачки сообщений Windows."

Пример кода:
StreamReader sr = new StreamReader(fileName, Encoding.GetEncoding(866));

string line = String.Empty;
while ((line = sr.ReadLine()) != null)
{
richTextBox4.AppendText(sr.ReadLine() + "\n");
}

Answer 1

[Melz]

Для визуального отслеживания перекодировки вполне достаточно строк 20 или сколько там в ваше окно помещается.
Если нужно больше - перегружаете прокрутку мышкой и скроллбар и читаете новые строчки.
Писать можно как-то так:

protected void MyFile(string FilePath, string NewFilePath)
{
    using (StreamReader vReader = new StreamReader(filePath, Encoding.GetEncoding(866)))
    using (StreamWriter vWriter = new StreamWriter(newFilePath, true , Encoding.GetEncoding(866)))
    {
        while (!vReader.EndOfStream)
        {
            string vLine = vReader.ReadLine();
            vWriter.WriteLine(vLine);
        }
    }
}

Если все равно хотите в память то берите MemoryMappedFile

Comments

[Тимофей]

Да, этот вариант работает, вот только появилась проблема с перекодировкой. В вашем случае перекодировка идет в UTF8, нельзя ли как-нибудь в 866???
т.е. Encoding.GetEncoding(866) в данном случае не работает!!!

using (StreamReader vReader = new StreamReader("FilePath", Encoding.GetEncoding(866)))

[Melz]

Тимофей: .Net хранит строки в юникоде. С этим ничего нельзя сделать. Можно перекодировать Encoding.Convert(). Но вам видимо надо писать в файл в cp866. Просто ставьте кодировку в StringWriter.
new StreamWriter(@"file.txt", false, System.Text.Encoding.GetEncoding(866).

[Melz]

true для добавления данных в файл; значение false для перезаписи файла.
Еще можно читать как byte array. Но все равно конвертить прийдется.

Answer 2

[Петр]

StreamReader использует native winapi функции, ему размер файла не критичен. Может прочитать и из файлов куда большего размера.
Но вот зачем вы все эти 2 000 000 строк пихаете в richTextBox4?
1. Кто это просматривать то будет?
2. Он все в памяти хранит.

Comments

[Петр]

Александр А: Кроссплатформенность реализуется базовыми классами, но это не исключает использование в них нативных функций. Смотрите код StreamReader, сколько там используется функций из Microsoft.Win32.Win32Native

[VZVZ]

Александр А: Когда создавался C#, разве думали о кроссплатформенности? Удобство, равенство и RADство - да...

[VZVZ]

Александр А: И любая кросспл. библиотека именно использует API ОС: на одной ОС одни, на другой другие. Как она может их не использовать? Бред написали.

Answer 3

[Михаил]

А так не работает?
richTextBox4.LoadFile(fileName, RichTextBoxStreamType.PlainText);

Comments

[Михаил]

Т.к. не хватает памяти, делайте x64 билд, кто знает, сколько этот файл весит.
По сути, верно сказали, зачем 2кк строк в richTextBox пихать?)

[Тимофей]

Нет, так тоже вылетает, я так понимаю проблема с памятью

[Михаил]

Тимофей: проблема в неверном использовании компонента, который для такого не создавался)
Сколько весит файл?

[Михаил]

Тимофей: Какая цель у задачи? Зачем такое большое кол-во строк загружать в него? Что с текстом после этого делать будете?

Answer 4

[Тимофей]

Смысл не в просматривании richTextBox4, а отследить прошло ли перекодирование текста, а после окончания процесса записать файл с требуемой кодировкой.

Comments

[Михаил]

Зачем тогда использовать целый view компонент для этого? Можно использовать StringBuilder, если для проверки текста обязательно нужен весь текст целиком. Если же хватить части текста, то можно читать построчно и проверять, перекодирована ли строка, после чего брать следующую, тогда не придётся грузить в память все содержимое файла за 1 раз

[Михаил]

Как вариант, если нужно весь файл в память
var str = File.ReadAllLines(fileName, Encoding.GetEncoding(866));

Но, лучше брать построчно, если возможно.

[Тимофей]

Я уже пробовал много вариантов, в том числе и ваш. Результат отрицательный

string[] settings2 = File.ReadAllLines(fileName, Encoding.GetEncoding(866));
foreach (string i in settings2)
{
richTextBox4.AppendText(i + "\n");
}