Как распараллелить цикл с помощью thread?

Question

[chestik]

Переменная len всегда равна 32, поэтому делю на 4 потока, каждый из которых по идее должен выполнить по 8 вычислений, но получается так, что время вычислений увеличивается по сравнению с одним потоком. Что делаю не так?
Сам цикл:

vector<thread> thds;
for (int i = 0; i < len; i = i+4) { // основной цикл умножения
		thds.emplace_back(thread (multi, x, y, ref(res), len, i));
		thds.emplace_back(thread(multi, x, y, ref(res), len, i+1));
		thds.emplace_back(thread(multi, x, y, ref(res), len, i+2));
		thds.emplace_back(thread(multi, x, y, ref(res), len, i+3));
		thds[i].join();
		thds[i+1].join();
		thds[i+2].join();
		thds[i+3].join();
		//cout << i << endl;
	}

Функция:

void multi(vector<int>& x, vector<int>& y, vector<int>& res, int len, int i) {
	for (auto j = 0; j < len; ++j)
		res[i + j] += x[i] * y[j];
}

PS За реализацию прошу сильно не ругать, первый раз работаю с потоками.

Comments

[Дмитрий]

у вас оверхед на создание потоков и переключение контекстов выше, чем вы хотите выиграть на параллелизме. Потоки следует создавать, когда вам не 32 вычисления надо, а 32 гигабайта данных надо посчитать, вот тогда будет смысл. А здесь бессмысленная трата ресурсов.

[chestik]

Дмитрий: но при том, если использовать OMP, то время уменьшается, из этого вывод, что есть смысл параллелить даже такие маленькие вычисления

[Дмитрий]

chestik: а вы уверены, что OpenMP использовал в этом случае именно треды, а не просто векторизовал?

Answer 1

[devalone]

А зачем создавать потоки каждый раз в цикле? Лучше сначала создать нужное количество потоков с учётом их количества в системе и потокам отдавать диапазон для вычислений. Может стоит взять что-то готовое вроде en.cppreference.com/w/cpp/thread/async смотреть пример внизу, там как раз идёт параллельное суммирование элементов вектора. Обратите внимание, что если меньше 1000 элементов, потоки вообще не создаются.

Comments

[chestik]

Нужно именно классом thread

[devalone]

chestik: ну, можно навелосипедить что-то вроде этого:

#include <iostream>
#include <vector>
#include <algorithm>
#include <thread>
#include <atomic>

template <typename RAIter>
int parallel_sum(RAIter begin, RAIter end)
{
    std::atomic<int> result;
    result = 0;
    int length = end - begin;
    if(length < 1000)
        return std::accumulate(begin, end, 0);

    std::vector<std::thread> threads;
    unsigned num_of_threads = std::thread::hardware_concurrency();
    threads.reserve(num_of_threads);

    int values_per_thread = length / num_of_threads;

    for(RAIter i = begin; i < end; i += values_per_thread) {
        RAIter j = i + values_per_thread;
        if(j > end) {
            j = end;
        }
        threads.push_back(std::thread([&result](RAIter begin, RAIter end){
            result += std::accumulate(begin, end, 0);
        }, i, j));
    }

    for(auto &thread : threads)
        thread.join();

    return result;
}

int main()
{
    std::vector<int> v(12002, 1);

    int sum = parallel_sum(v.begin(), v.end());
    std::cout << "The sum is " << sum << '\n';
}

Но я не уверен, что это самая эффективная реализация.

Answer 2

[exaw]

Для организации параллельных вычислений обычно используют OpenMP или Intel tbb. Там планирование, балансировка, создание потоков идёт из коробки. Попробуйте.