В целом синтаксис между Matlab и Octave совпадает.
В Matlab каждая функция в своем файле, в Octave все может быть в одном файле.
При больших вычислениях Matlab выигрывает у Octave в скорости.
При работе с графами у Matlab есть какие-то свои реализации. В Octave можно было использовать сразу gnuplot. Результат второго нравился больше.