Почему возникает OutOfMemoryException в текущей ситуации?

Question

[Nubzilo]

Добрый день. На машине x64, 16GB RAM
Почему код
List<string> textLines = File.ReadAllLines(path);
и

HashSet<string> fileStrings = new HashSet<string>(File.ReadLines(path));

при условии, что path - файл размером в 2.5GB вызывает exception из заголовка темы?

Answer 1

[Melz]

Размер объекта в .Net до версии 4.5 ограничен 2Gb. В 4.5 можно аллокировать используя
gcAllowVeryLargeObjects
https://msdn.microsoft.com/en-us/library/hh285054%...

Но лучше не заморачиваться и делать так:

static IEnumerable<string> ReadLines(string filename)
{
    using (TextReader reader = File.OpenText(filename))
    {
        string line;
        while ((line = reader.ReadLine()) != null)
        {
            yield return line;
        }
    }
}

Comments

[Nubzilo]

Угу, сам только что нашел про gcAllowVeryLargeObjects и уже хотел удалять вопрос, но вы ответили и уже нельзя :)
А про IEnumerable - читал где то на stackoverflow, что он тормозит и лучше его не использовать в таком контексте на больших файлах.

[Nubzilo]

И кстати, если делать так, как вы написали, то как это все таки поможет? Ведь обьект в итоге то все равно будет больше чем 2 GB

[Melz]

Nubzilo: Читайте строк 20 сразу и возвращайте их, будет меньше вызовов. 2Gb в памяти тоже не выход :) Удачи :)

[Melz]

Грубо говоря он не будет аллокировать память если вы не обращаетесь к ней. Но если вы попытаетесь сделать что-то вроде .Count(), посчитать все элементы, то сразу снова вылетите.
Как-то так можно.
foreach(var line in ReadLines("123"))
{
Console.WriteLine(line);
}

Answer 2

[AxisPod]

Ну как бы большие файлы лучше так https://msdn.microsoft.com/en-us/library/dd997372(v=vs.110).aspx