MPFR — надстройка над GMP, расширяющая функционал работы с плавающей точкой (тригонометрия). GSL вроде бы самостоятельный продукт с широким функционалом, в частности вижу в ней множество встроенных мат. методов. GMP же дает только базовый функционал для больших чисел, далее надо брать расширения, типа MPFR (тригонометрия), MPC (комплексные вычисления) и, наверняка, еще существует куча надстроек.
В Вашем случае может быть разумнее будет взять GSL, в ней имеются встроенные функции для матричных вычислений, что должно пригодиться для систем линейных уравнений.
