OpenMP или MPI
Это две совершенно разные технологии: Open Multi-Processing и Message Passing Interface.
Первая помогает распараллеливать выполнение кусков кода на одной машине без явного использования потоков, вторая -- выполнять работу на кластере.
В gcc есть реализация OpenMP, можно включить её флагом -fopenmp и пользоваться прагмами и функциями OpenMP.
С MPI не работал, не расскажу.