Начните с изучения Octave, он практически не отличается от Matlab. Попробуйте курс
machine learning от Andrew Ng. Раздел Octave Tutorial. Можно также задания потом повыполнять если интересует курс. Это общий синтаксис. А потом уже нужно изучать те пакеты Matlab, которые интересуют