Михаил Потанин

Хорошую базу дает старый SICP. Я не знаю лучшего учебника по программированию вообще, а не конкретным технологиям.

Mathematica - удобный и мощный язык, огромная стандартная библиотека, замечательный интерфейс. Минусы - цена и сложность начального вхождения. Для моделирования динамических систем есть отдельная реализация языка Modelica (SystemModeler), но только под винду и я не слышал что бы ей кто-то пользовался.

Matlab - хорош для численных вычислений, в символьных слабоват. Для моделирования есть пакет Simulink, который знакомые очень хвалили. То же стоит денег.

Python - популярный и простой, много готовых пакетов, хороший интерфейс ipython (сдутый с Mathematica). Но как язык слабоват - обобщенные алгоритмы на нем тяжело пишутся, высокая эффективность обеспечивается только с помощью библиотек на C.

Octave: бесплатный относительно приличный клон Matlab. Про системы моделирования к нему не слышал.

SciLab: бесплатный, но кривоватый и недоделанный клон Matlab. За то к нему относительно приличная система моделирования Xcos.

R: удобный язык для обработки данных и статистики. Огромная и хорошо организованная внешняя библиотека.

Julia: Объединяет лучшие черты Matlab, R и python (а так же кое что из Lisp). Но разработчики пока не заявили о стабильной версии. Если стабильность Вам не критична, очень рекомендую.

Про остальное ни чего не знаю.

Сейчас наиболее перспективные направления - робототехника и анализ данных (в том числе биоинформатика). Смотрите, где хотя бы одна из этих тем хорошо развита.

R, Julia, SciLab.
На мой взгляд лучше всего Julia, но она появилась сравнительно недавно, многие сомневаются в ее стабильности.

Почитать стоит Феймановские лекции. Электричество и магнитизм там очень понятно изложены, со всей математикой.