Как оптимизировать сохранение строк в больших объемах?

Question

[kerchnet]

private ConcurrentQueue<string> Names= new ConcurrentQueue<string>();

var sourceFile = new OpenFileDialog
            {
                Filter = @"(*.txt)|*.txt",
                RestoreDirectory = true
            };
            if (sourceFile.ShowDialog() != DialogResult.OK)
                return;
            try
            {
                Names = new ConcurrentQueue<string>(File.ReadAllLines(sourceFile.FileName));
            }
            catch (Exception ex)
            {
               MessageBox.Show(ex.Message);
            }

var l = Names.ToList();
                foreach (var s in l)
                {
                    SaveText(@"C:\Windows\Temp\Names\Surname.txt", s);
                }

Слишком долго сохраняет. есть-ли способы оптимизировать на скорость?

Answer 1

[freeExec]

Нет. Разве что ты соберёшь ещё раз все строки в память одним блобом и сохранишь их сразу, а не каждую дописывать в файл.
А так купи SSD если медленно сохраняет.

Comments

[kerchnet]

Стоит SSD
120к строк сохраняет за 17 сек
Это очень медленно
А у меня строки больше 20 миллиона

[freeExec]

kerchnet, не сохраняй по 1 штуке.

[kerchnet]

Ну а как же по другом если не по одному?
кроме foreach ничего не помогает

[freeExec]

kerchnet,
1. Не открывай каждый раз файл на запись
2. Используй StringBuilder и сложи туда хотя бы 10к строк.

[kerchnet]

freeExec, Сейчас попробую и скажу результат! Благодарю!

[kerchnet]

freeExec, Спасибо, теперь миллион строк сохраняет на секунду!

[Василий Банников]

freeExec, дополни ответ, чтобы не нужно было в комментах искать.

[Владимир Коротенко]

freeExec, Тот еще совет. Когда есть встроенный метод для сщхранения коллекции в файл :)

[freeExec]

Владимир Коротенко, совет универсальный, не всегда у тебя готовый список строк.

[Владимир Коротенко]

freeExec, в данном случае он есть, а стингбилдер он реально хорош

[freeExec]

Владимир Коротенко, скорей всего да, но SaveText для нас чёрный ящик, вдруг он там как-то модифицирует строки, ну не знаю приводит их к КемелКейсу, разбивает их на колонки для csv. Иначе в чём вообще смысл загрузить строки-сохранить строки.

Answer 2

[Griboks]

А у меня строки больше 20 миллиона

Очевидно, пора подключать СУБД.

Answer 3

[Владимир Коротенко]

Есть обратный метод в классе для записи

#region Медленно потому что по одной строке запись в файл
        var l = Names.ToList();
        foreach (var s in l)
        {
            SaveText(path, s);
        }
        #endregion

        File.WriteAllLines(path, Names); // Быстро и проще