malcontent

Выполнить функцию matlab без запуска matlab нельзя. Но есть возможность сгенерировать C-код из функции написанной на matlab. Посмотрите MATLAB Coder.

Второй вариант mex-файлы. Это что-то вроде dll. Можно запускать код на C/C++ из matlab.