Как правильно распараллеливать выполнение цикла «For»?

Question

[Алексей Смирнов]

Здравствуйте.

Я с помощью цикла for записывал двухмерный строковый массив в Excel:

for (var column = 1; column <= columns; column++)
{
    // Тело цикла, выполняющее функцию записи одного столбца в Excel документ.
}

После этого я решил ускорить процесс записи данных в Excel, путём параллельного выполнения цикла for:

Parallel.For(1, columns + 1, column =>
{
    // Тело цикла, выполняющее функцию записи одного столбца в Excel документ.               
});

Благодаря этому время записи снизилось в среднем на 16%.

Но есть одна проблема. Когда я в первый раз (после перезагрузки компьютера) записываю данные в Excel, они, в Excel документе, располагаются в правильном порядке. Но как только я повторно запущу программу, столбцы, в новом, только что записанном документе, начинают располагаться хаотично. После того как я снова перезагружу компьютер и снова запущу программу, данные вновь записываются в Excel в правильном порядке.

P.S. Я так 6 раз перезагружал компьютер, и каждый раз после перезагрузки данные правильно записывались в Excel. Но как только я повторно запускал программу, данные записывались в Excel в случайном порядке.
P.P.S. При использовании обычного цикла for такой проблемы не возникает.

Answer 1

[cicatrix]

Race Condition по всей видимости. Добро пожаловать в мир многопоточности. При параллельном исполнении, нет гарантии, что порядок сохранится. Кто первый встал, того и тапки.
Я бы вам посоветовал бить массив (или что там у вас в цикле) на 2, 3 ... N частей, строго отводя каждой части свои области (скажем, первый поток заполняет колонки 1...10, второй - 11..20 и т.д.) и запускал бы N синхронных циклов в разных потоках.
И в принципе, чтобы понять, как работает многопоточность, я бы для начала попробовал всё сделать вручную, при помощи старого доброго System.Threading.Thread. В Tasks многое спрятано "под капот", и можно на много граблей наступить.

Comments

[Алексей Смирнов]

"скажем, первый поток заполняет колонки 1...10, второй - 11..20"
В этом случае, как я думаю, внутри первых 10-ти записей будет перемешивание столбцов в случайном порядке, и внутри 2-й десятки (11..20) тоже столбцы будут перемешаны между собой. Это перемешивание будет нежелательным.

[Алексей Смирнов]

А... Или вы имели ввиду по-другому скомбинировать.
Один цикл на 1...10, а второй цикл на 11...20 и эти 2 цикла выполнять параллельно.

[Алексей Смирнов]

Хорошая идея... для некоторых ситуаций.

[Алексей Смирнов]

Странно. Я сейчас разобрал цикл на 2 части и разделил на 2 потока. И почему-то у меня данные хаотично записались в Excel. Я вот так делал:

int a1 = (int)Math.Truncate((double) columns / 2);
            int a2 = (int)Math.Ceiling((double)columns / 2);

            Parallel.For(0, 2, i => {
                for (var column = 1 + a1*i; column <= columns - a2 + a2*i; column++)
                {
                    // Тело цикла, выполняющее функцию записи одного столбца в Excel документ. 
                }
            });

[cicatrix]

Алексей Смирнов, Не используйте Parallel.For, просто For, в нескольких разных потоках.
При этом каждому потоку отведите строго свой диапазон для заполнения.

Answer 2

[Vladimir S]

попробуйте разбивать список колонок, и проходить их секциями отдельно, сохраняя общий порядок

public static void TestMethod()
        {
            var columns =new List<object>();//список колонок


            foreach(var groups in columns.ToChunks(100))
            {
                Parallel.ForEach(groups, new ParallelOptions { MaxDegreeOfParallelism = 10 },
                                 (group) =>
                                 {
                                     // Тело цикла, выполняющее функцию записи одного столбца в Excel документ. 
                                 });
            }
        }

        public static List<List<T>> ToChunks<T>(this List<T> list, int chunkSize)
        {
            if(chunkSize <= 0) { throw new ArgumentException("chunkSize must be greater than 0."); }

            List<List<T>> retVal = new List<List<T>>();
            int index = 0;
            while(index < list.Count)
            {
                int count = list.Count - index > chunkSize ? chunkSize : list.Count - index;
                retVal.Add(list.GetRange(index, count));

                index += chunkSize;
            }
            return retVal;
        }

Comments

[Алексей Смирнов]

Я на вход получаю двухмерный массив типа object (который необходимо записать в Excel). Скажите пожалуйста, как его лучше подготовить для использования в вашем коде?

[Vladimir S]

думаю, как то так + метод дописать

............................
// Циклическая поочерёдная запись столбцов с данными из 
            // двухмерного массива «DataArray[,]» в Excel файл.

var columnsGroups = columns.ToChunks(100);//список колонок

                Parallel.ForEach(columnsGroups, new ParallelOptions { MaxDegreeOfParallelism = 10 },
                                 (group) =>
                                 {
                                     // Циклическая поочерёдная запись столбцов с данными из 
                                     // двухмерного массива «DataArray[,]» в Excel файл.
                                     for(var column = 1; column <= group; column++)
                                     {
                                         // Выделяем область (столбец) в Excel документе, куда будет 
                                         // записываться один из столбцов с данными, полученный из 
                                         // двухмерного массива.
                                         var startCell = (Range)xlWorkSheet.Cells[1, column];
                                         var endCell = (Range)xlWorkSheet.Cells[rows, column];
                                         var writeRange = xlWorkSheet.Range[startCell, endCell];
                                         double number;
                                         // Циклическое (поочерёдное) присваивание данных из 
                                         // одного из столбцов двухмерного массива «DataArray[,]»
                                         // в двухмерный массив «oneColumnArray[,]», для дальнейшей 
                                         // записи в Excel.
                                         for(var i = 0; i < rows; i++)
                                             // Если получается преобразовать строку к числу типа double, 
                                             if(double.TryParse(dataArr[i, column - 1] + "", out number))
                                                 // то присваеваем в массив oneColumnArray число.
                                                 oneColumnArray[i, 0] = number;
                                             else
                                                 // иначе строку DataArray[i, column - 1] оставляем строкой 
                                                 // и просто присваиваем её ввиде строки в массив oneColumnArray.
                                                 oneColumnArray[i, 0] = dataArr[i, column - 1];
                                         // Запись столбца с данными в Excel.
                                         writeRange.Value2 = oneColumnArray;
                                     }
                                 });
// Excel-документ станет видимым,
            // после окончания загрузки данных в Excel.
            xlApp.Visible = true;

[Vladimir S]

ты разделяешь список колонок методом, что я скинул в самом начале. затем проходишь по получившемуся списку (список списков) параллельным форычем, который обрабатывает колонки обычным образом

[Алексей Смирнов]

Получилось! На 5,8% ускорил. Немного) Я ожидал больше ускорить)

Спасибо за то, что помогали мне.

[Vladimir S]

а сколько всего времени занимает процедура?

[Алексей Смирнов]

В разных моих программах разное время (и в каждой программе разные параметры задаю, что тоже влияет на время выполнения процедуры). В среднем около 7-8 секунд. Это немного. Но запусков таких процедур у меня за всё время произошло около 100. И будет ещё много запусков в будущем (ожидаю, что несколько сотен).