Михаил Потанин

Судя по тому, что таг указан "нейронные сети", в первую очередь требуется линейная алгебра (по моему, хоть это звучит неожиданно, ее проще изучать параллельно с функциональным программированием - это помогает начать думать об векторах, векторных пространствах, отображениях, перестановках, как о цельных объектах, идея карринга позволяет по новому взглянуть на полилинейные отображения - по моим наблюдениям именно эти концепции вызывают трудности у изучающих линейку). Так же нужны матан и функан. Для обработки сигналов полезно знакомство с ТФКП. При работе с данными очень важны тервер и статистика.
В общепрограммистких вопросах полезны дискретная математика, комбинаторика, теория графов, общая алгебра и теория категорий.
Другие разделы математики нужны в отдельных областях - дифгем и топология в 3D-моделировании, дифуры в робототехнике, урчапы в моделировании пространственных явлений.

Фихтенгольц по матану и Шабат по ТФКП.

В первую очередь теория множеств и логика. Теория вычислимости тоже полезна. В области разработки микроэлектронных систем, ИИ, верификации программ, рекомендательных системах, проектировании языков программирования этим надо владеть глубоко, в остальных областях достаточно общего знакомства, но на начальном уровне знать надо. Хорошо еще теорию категорий и общую алгебру, но это сложные темы, их стоит поверхностно просмотреть, а потом углубляться по мере возможности и желания.
Чаще всего требуются теория вероятности и статистика (ну и комбинаторика). Особенно в модном нынче анализе данных с машинным обучением.
В машинном обучении очень важна линейная алгебра.
В графике, САПР и робототехнике еще будет полезна дифференциальная геометрия.

Порядок изучения, мне кажется, не должен быть строгим. Лучше изучать по маленьким кусочкам разные дисциплины, иногда возвращаясь к темам для более глубокого изучения.

Почитать книги Пенроуза, а потом гуглить, что там не понятно.

Вектора, производные, интегралы.
Для обработки результатов экспериментов - основы статистики.
Для переменного тока и квантовой механики - комплексные числа. Для квантовой механики еще хорошо немного теории вероятности.

Достаточно анализа (производные, интегралы) и линейной алгебры (многомерной) в объеме 1-2 курса технического вуза. Можно еще теорию меры, которая в теории вероятности используется, почитать, но не обязательно.
После этого можно браться за курс статистики.

Mathematica - удобный и мощный язык, огромная стандартная библиотека, замечательный интерфейс. Минусы - цена и сложность начального вхождения. Для моделирования динамических систем есть отдельная реализация языка Modelica (SystemModeler), но только под винду и я не слышал что бы ей кто-то пользовался.

Matlab - хорош для численных вычислений, в символьных слабоват. Для моделирования есть пакет Simulink, который знакомые очень хвалили. То же стоит денег.

Python - популярный и простой, много готовых пакетов, хороший интерфейс ipython (сдутый с Mathematica). Но как язык слабоват - обобщенные алгоритмы на нем тяжело пишутся, высокая эффективность обеспечивается только с помощью библиотек на C.

Octave: бесплатный относительно приличный клон Matlab. Про системы моделирования к нему не слышал.

SciLab: бесплатный, но кривоватый и недоделанный клон Matlab. За то к нему относительно приличная система моделирования Xcos.

R: удобный язык для обработки данных и статистики. Огромная и хорошо организованная внешняя библиотека.

Julia: Объединяет лучшие черты Matlab, R и python (а так же кое что из Lisp). Но разработчики пока не заявили о стабильной версии. Если стабильность Вам не критична, очень рекомендую.

Про остальное ни чего не знаю.

Я рекомендую посмотреть Julia. Язык сравним с матлабом в плане математики, и мощнее питона как общего назначения.

Линейная алгебра и методы оптимизации (и в графике и в ИИ активно применяются).
Теория категорий - полезна что бы лучше понимать семантику языка и востребована в некоторых направлениях ИИ.

Выучить язык программирования можно ни чего не зная.
Но для понимания хорошо бы иметь представление о теории множеств, булевую алгебру, некий минимум обычной алгебры. Для интересных приложений (анализ данных, робототехника) полизны будут минимум из матана, аналитическая геометрия и оптимизация.

Точнее и удобнее работать с удаленными точками. Фактически в них можно задать направление на бесконечно удаленную точку и она не будет отличаться от обычных точек.

Structure and Interpretation of Classical Mechanics
И дифуры, и программирование.

Персиг "Дзен и исскуство ухода за мотоциклом".
Книга художественно-филосовская, хорошо подходящая программистам. Главное действующее лицо - преподаватель литературы и техписатель.

Более художественные и менее философские: Виндж "Конец радуг", "Глубина в небе", в некоторой степени "Пламя над бездной", Шумил "Слово о драконе".

R, Julia, SciLab.
На мой взгляд лучше всего Julia, но она появилась сравнительно недавно, многие сомневаются в ее стабильности.

NetLogo
Простой язык, ориентированный на многоагентское моделирование.