Как прикрутить многопоточную обработку без проблем с памятью?

Question

[Student2002]

Здравствуйте , есть функция которая в отдельном потоке генерирует много много строк . (очень много, хранить их в List не вариант так как крашится)
Как мне отдельно создать потоки чтоб они брали результат работы и обрабатывали ?
Пробовал сделать что-то вроде

private void Generator()
{
// Тут он её генерирует
string value = "Строка которую он сгенерировал в чуть выше";
                    Thread a = new Thread(new ParameterizedThreadStart(Get_Obrabotka));
                    a.Start(value);
}

Крашится System.OutOfMemoryException"."

Comments

[Петр]

32х битное приложение ограничено по памяти в 2GB. Так что сколько не создавайте потоков этот лимит не преодалеть.
Меняйте логику приложения, чтобы не хранить в памяти такой обьем данных или компилите 64битную версию

[Student2002]

Петр, Смотрите , обработка строки методом Get_Obrabotka занимает 1-3 минуты .
А мне нужно хотябы сотню такие в минуту . Пробовал вот так

private void Starter()
{
 for (int i = 0; i < 100; i++)
{
                    Thread a = new Thread(Generator);
                    a.Start();
}
}
private void Generator()
{
// Тут он её генерирует
string value = "Строка которую он сгенерировал в чуть выше";
Get_Obrabotka(value);
}

Но тогда все 100 потоков обрабатывают 1 и ту же строку (так как этот метод её и генерирует)

[Петр]

Student2002, Если у вас одна строка одним потоком обрабатывается 1-3 минуты, то это не значит, что 100 потоков выполнят 100 строк за это время. У вас скорее всего ядер не хватит на параллельную обработку такого кол-ва потоков.

По коду:
Примените для примера ConcurrentQueue и выбирайте потоками из него построчно, а в отдельном потоке загружайте туда строки, что должны быть обработаны

[Student2002]

Петр, Я делал примерно так только метода Generator() добавлял строки в List ListValue а метод Starter() с 100 потоками брал от туда строку ListValue[0] и обрабатывал (когда он брал он удалял сразу эту строку , чтоб потоки не брали одно и тоже .) В итоге софт крашился , видимо размера List не хватает и он переполнялся

[Петр]

Student2002, Тогда ConcurrentQueue вам точно подойдет

Answer 1

[d'Ivan]

Генерацию самих строк стоит оформить как IEnumerable, а их обработку - при помощи Task.

Answer 2

[eRKa]

Если памяти не хватает, то без разницы сколько потоков Вы используете. Многопоточность нужна либо для асинхронности, либо для параллельности. Добавление потоков памяти не сэкономит, даже наоборот, увеличит ее расход и даже иногда скорости не добавляет.

Если у Вас есть некий список, с которым работает много потоков, то рассмотрите возможность использования потокобезопасных коллекций. List не потокобезопасен.

Если у Вас большой объем данных, который не влазит в память, то только подгружать данные частями, если хотите добавить параллельную обработку этих данных в разных потоках, то ,возможно, Вам подойдет Parallel.ForEach.

И да, нет необходимости добавлять 100 потоков, как уже сказали, такое кол-во в кол-во ядер не влезет и производительности это не добавит, а даже наоборот, т.к. одно ядро будет делить время на часть выделенных потоков и будет переключать контекст между ними. Не факт, конечно, что даже два потока будут разделены по ядрам, за это ОС отвечает, но 100 потоков, это кажется перебором. Можно, конечно поэкспериментировать с кол-вом и посмотреть на производительность при этом.

Answer 3

[Виталий Качан]

Паттерн поставщик-потребитель

Answer 4

[soloveid]

Без просмотра кода все советы вообще ни о чём.
Скорее всего генерация строк идёт быстрее чем их обработка.
И скорее всего идёт неправильная (не оптимальная по памяти и производительности)
обработка, возможно вообще всё может работать сильно быстрее и без всяких потоков.

Answer 5

[cicatrix]

Не создавай много потоков.
Если хочешь заморочиться, то можно отслеживать состояние памяти процесса и регулировать их количество. Если не заморачиваться, то прирост производительности от параллельного исполнения ограничен количеством ядер процессора.
То, что ты описал, подходит под паттерн - производитель-потребитель.
Пример реализации