Как правильно читать строки из большого файла?

Question

[Дмитрий]

Добрый день. Необходимо брать первую строку большого файла, производить с ней действия и удалять. Файл размером в 600 Мб.
Замечу, что работа будет вестись в многопотоке. Т.е. сразу несколько потоков захотят одновременно почитать из файла и удалть строку.

Как правильно сделать?
Спасибо.

UPD1:
Вот так хорошо читается:
string line = File.ReadLines("file.txt").First();

Остался вопрос как удалить прочитанную строку и будет ли оно работать с многопотоком?

Answer 1

[Sumor]

Если планируется одновременная работа с данными, да ещё и их изменение, то лучше рассмотреть вопрос с БД.
Есть много вариантов простых встроенных в программу движков, которые обеспечат вам корректную одновременную работу с данными.

Если же хочется поиграться самому, то вот несколько моментов.
Для одновременной работы из нескольких потоков файл нужно открывать с опциями FileShare.Read или FileShare.ReadWrite. Особенности работы с ними прочитаете сами.
Удаление данных в начале файла приводит к его полному переписыванию операционной системой. То есть компьютер всё равно прочтёт 600 МБ, просто это будет не в вашем потоке.
Достаточно быстро просто помечать "удалённые строки" какими-то спецсимволами. Например, вы можете выделить под это первый символ строки. А очистку начала файла производить раз в 100-200-300-500 "удалений".
При этом, если вы планируете многопоточность, то нужно хорошо организовать их взаимодействие, а то получите дважды обработанные строки.

Answer 2

[freeExec]

string line = File.ReadLines("file.txt").First();

И вы читаете все 600Мб в память.
Ну и в многопотоке это будет работать только с блокировкой файла на время перезаписи. При таком размере это выльется в существенный лаг. На вашем месте я бы пересмотрел концепцию.
А так: ищите первый символ конца строки, запоминаете позицию. Зачет читаете кусок после неё и записываете в начало файла, читаете дальше и дописываете после первого блока и так до конца. В конце уже обрезаете размер файла под новый размер.

Comments

[Дмитрий]

1) Не читаю все 600 мб. Читаю только первую линию. При отладке процесс занимает только 15 кб.
2) Геморно выходит. Думаю, может сначала перелить этот файл в БД и уже с ней работать?

[freeExec]

Дмитрий, 1) Да ну, небось и делает это за 30 мс? У меня на 600Мб процесс занял 2Гб.

[mshak]

File.ReadLines - не читает все в память, скорее всего путаете с File.ReadAllLines. ReadLines возвращает энумератор IEnumerable, и файл будет держаться открытым до тех пор, пока вы его не освободите энумератор через using или принудительный вызов dispose.
т.е. если сделаете вот так:...

foreach (string line in File.ReadLines(@"file.txt"))
{
  // line содержит прочтенную строку
}

если вам надо построчно раздербанить данный файл, при этом каждую строку обрабатывает собственный поток, то удобнее всего это сделать через промежуточную очередь. Копайте в сторону BlockingCollection и паттерна consumer-producer

[freeExec]

mshak, Точно перепутал ReadAllLines, спасибо.

Answer 3

[John_Nash]

сразу несколько потоков захотят одновременно почитать из файла и удалть строку

сомневаюсь, что такое вообще возможно, тем более в NTFS. Считайте, что каждый поток блокирует файл на время чтения/записи, поэтому длительные операции разбивайте на множество мелких

Comments

[Sumor]

Ну это вы зря, можно организовать одновременную запись/чтение в файл, только вот согласованность этого процесса нужно дополнительно обеспечивать.

Answer 4

[Дмитрий Башинский]

Можно выгрузить все в память потом сложить в очередь и уже там раздавать потокам.

Я б так сделал

var lines = File.ReadAllLines("file.txt", Encoding.UTF8);

            var queue = new ConcurrentQueue<string>(lines);

            Parallel.ForEach(queue, item =>
            {
                if (queue.TryDequeue(out var line))
                {
                    Console.WriteLine(line);
                }
            });