Как итерироваться по большому массиву файлов?

Question

[Иван]

Добрый день.
Технологии : C# , .net 4.7. (.net core нету и возможности добавить нету).
Большой массив файлов на диске(десятки тысяч), надо каждый файл открыть(стороннее ПО - не суть), считать данные, закрыть. Плюс файлы надо фильтровать по расширению. Корневая директория одна.
использовать Directory.GetFiles нельзя ибо огромный массив , будет много потреблять памяти.
как понимаю нужно что то типо того. , т.е. использовать вызовы Win API.
м.б. есть лучше решение?

Comments

[krka92]

Записать имена файлов в массив строк
Отсортировать
Последовательно считывать данные

[Иван]

krka92, эм. этот массив же в памяти будет хранится. написал же в топике что так делать нельзя..

[krka92]

Иван, массив из 10к строк? 10 мегабайт?

[Foggy Finder]

можно узнать чем вам не подошел стандартный Directory.EnumerateFiles ?

[Иван]

Foggy Finder, он возвращает массив который хранится в памяти. Файлов много. Да возможно этот массив будет условно 20 mb, но хочется решение которое бы не хранило данные в памяти

[Иван]

krka92, да возможно(не мерял) обьем будет не большим и поместится в памяти. Но хочется решение, которое не хранит в памяти данные.

[Foggy Finder]

Иван, это не так, возвращается System.Collections.Generic.IEnumerable

[krka92]

Иван, скорее всего, разбор одного файла займет памяти больше, чем этот массив. Можно сначала реализовать таким вариантом, а затем искать узкие места. Вы слишком заморачиваетесь не в том направлении)

[Иван]

Foggy Finder, спасибо, посмотрю.

[Иван]

krka92, возможно..

[Иван]

Aleksandr-JS-Developer, закидали тапками). нет не БД, это файлы dwg(AutoCAD).
про прежде временную оптимизацию слышал...)

Answer 1

[Griboks]

Как уже написали, специально для таких случав придумали Directory.EnumerateFiles, можно даже параллельно обработать (если CPU bounded):

Parallel.ForEach(Directory.EnumerateFiles(path, "*.txt"), Console.WriteLine); // flood stdout