Руслан Нигматуллин

Можно функцию det сделать шаблонной, в таком случае размер массива еще и будет известен во время компиляции:

template <size_t N, size_t M>
float det(float (&matrix)[N][M])
{
   /* some calculations */
}

/* ... */

float matrix[5][6] = { /* ... */ };
float result = det(matrix);

github.com/euroelessar/qutim/tree/master/core/src/corelayers/idledetector
Здесь имеется рабочий код для Windows/MacOS X/X11, протестировано, работает, апи на Qt :)
Изначально взято из Psi, потом немного доработано. Более общего решения не существует, только реализации под конкретную платформу