Виснет программа при зписи на диск много мелких файлов?

Question

[maxcad]

Вопрос. Как правильно организовать запись десятков тысяч мелких файлов на диск?
До 3000-5000 файлов по 40Кб записываются довольно быстро. А если их 200 000 или миллион то программа зависает а диск перестает отвечать и через некоторое время система виснет и перезагрузить компьютер можно только через кнопку ресет.

Код записи в упрощенном варианте выглядит примерно так.
Есть массив files[] с именами файлов. Обходим его и записываем.

foreach(string filename in files)
 {     
       File.Copy("src.txt", filename, true);
 }

Когда программа и система виснут, после перезагрузки остается примерно 20 000 файлов. Цикл расчитан примерно на запись 100 000

Comments

[d'Ivan]

Один и тот же файл копируется в другие?

Answer 1

[maxcad]

Можно удалять тему.
Запись производилась на диск, зашифрованный VeraCrypt. На обычные диски пишется без проблем.
Виснет VeraCrypt, это у нее проблемы. Множественная запись мелких файлов она такая.

Тут походу надо делать паузы , чтобы шифрованный контейнер мог отдышаться .

Comments

[Василий Банников]

Можно удалять тему.

Мне кажется, не стоит удалять тему.
Информация, что дело в шифровании диска, может быть полезной для других, кто также с этим столкнётся.

Answer 2

[Василий Банников]

1. Используй File.OpenRead, File.OpenWrite, и WriteAllBytesAsync, чтобы процессор не простаивал, пока файлы копируются
2. Копируй их параллельно, а не по одному.

Comments

[maxcad]

Насчет параллельности не знаю. Жесткий диск это как бутылочное горло. Много там не распарллелить. Все параллельные потоки в очередь выстроятся и получится то же самое.

Еще заметил, что если программу вырубить через диспетчер задач, то через пару минут доступ к диску нормализуется. Видимо сам диск по каким-то причинам падает.

[Василий Банников]

maxcad, ну на счёт параллельности тоже не до конца уверен.
На счёт асинхронного IO уже больше уверенности.

[maxcad]

Василий Банников, при асинхронности в цикле каждая новая итерация будет начинаться не ожидая когда закончится предыдущая. По итогу цикл закончится за долю секунды, а запись файлов будет продолжаться без какого либо контроля со стороны программы.

Я тут уже где-то рядом написал, что проблема оказалась в VeraCrypt это она виснет. Но асинхронная запись множества мелких файлов мне кажется не очень хорошим решением даже на стабильно работающем диске.

[Василий Банников]

maxcad,

при асинхронности в цикле каждая новая итерация будет начинаться не ожидая когда закончится предыдущая. По итогу цикл закончится за долю секунды, а запись файлов будет продолжаться без какого либо контроля со стороны программы.

Ну так напиши await

[maxcad]

Василий Банников,
В этом случае цикл вызовет разом все 100500 методов и они тебе все разом будут выкидывать 100500 сообщений о своем прогрессе записи.

Файлы надо записывать последовательно пока кто-нибудь не придумает диски с возможностью записи в много потоков.

Я примерно понял на что вы мне пытаетесь указать. Сделать асинхронность чтобы не висло окно программы.
Это у меня изначально было сделано. Я цикл целиком сделал в отдельном потоке с выводом прогресса записи. Потому и определил что этот поток виснет, так как вывод прогресса останавливается. А дальше падает вся система