Если есть опыт в программировании — то я бы советовал сразу начинать писать задачу, которую вам нужно. Если такой нет, то взять старую, которую вы писали на любом языке программирования, связанную с математикой. А дальше документацию в зубы и вперед.
Я сам год назад матлаб видел только издалека, а теперь вполне уверенно себя в нем чувствую. На мой взгляд на книгах и видео вы просто потеряете время.