Для ИНС в первую очередь нужны:
- линейная алгебра (работа с матрицами: большинство ИНС очень компактно записывается в матричной форме)
- математический анализ (дифференцирование: многие популярные алгоритмы обучения строятся на градиентах; понятие экстремума, сходимости и т.д.)
- теория вероятностей (многие ИНС имеют вероятностную трактовку, без которой понять их архитектуру проблематично)
- численные методы (например, когда аналитический вычислить производную или интеграл нельзя, а такие ситуации возникают часто, ничего другого кроме их численной оценки не остается, и нужно знать, как это правильно сделать);
Для более продвинутого или специфического использования ИНС нужны:
- теория графов (во-первых, сама ИНС - это граф, хотя на базовом уровне использования этого учитывать не нужно; во-вторых, ряд архитектур ИНС удобно представлять в форме вероятностных генеративных моделей, конкретнее, графических моделей);
- теория дифференциальных уравнений (рекуррентные ИНС соответствуют системам дифуров);
- теория динамического хаоса (ряд рекуррентных ИНС, например сети Хопфилда, хорошо описываются в терминах фазового портрета, аттракторов, бифуркаций, но в целом эта область математики нужна не очень часто);
- исчисление предикатов (традиционно сети с бинарными нейронами рассматривались как способ представления предикатов);
- теория алгоритмов (конечные автоматы, формальные грамматики, машины Тьюринга и т.д.) (помимо того, что сами ИНС представляют собой некий класс алгоритмов и возникают теоретические вопросы, где этот класс для той или иной архитектуры находится в иерархии Хомского, сейчас еще популярны и нейросимвольные сети, требующие обращения к указанным разделам математики)

Перечисленные области (за исключением теории динамического хаоса) являются строго необходимыми и в машинном обучении в целом. Основы функционального анализа и вариационного исчисления нередко бывают нужны для более глубокого понимания существующих методов или для разработки своих. Теория меры нужна в вероятностном подходе к машинному обучению, хотя ее зачастую стараются избегать (не раз встречал высказывания в духе: ну, с теорией меры это можно было бы показать более строго и обще, но мы можем и без нее обойтись, чтоб было понятнее).

Если же говорить про ИИ в целом, то там нужна практически вся математика (хотя это в определенном смысле преувеличение: чистые математики решают свои внутренние задачи очень изощренными методами; в ИИ могут пригодиться результаты любого раздела математики, но крайне редко эти разделы нужны целиком). Гармонический анализ (Фурье, вейвлеты), без которого можно более или менее обойтись в машинном обучении, строго необходим в компьютерном зрении или распознавании речи. Комбинаторика, весьма редко нужная для ИНС, является основой классических методов ИИ (поиска в пространстве состояний). Теория алгоритмов, находящая лишь эпизодические применения в ИНС, является строго необходимой (как частично, так и практически полностью) в других подобластях машинного обучения и ИИ (например, в автоматическом программировании или машинном переводе). Теория множеств строго нужна в области представления знаний, нечеткой логике и т.д. Даже теория категорий может пригодиться (например, в вероятностных языках программирования - подобласти машинного обучения - при использовании функциональных языков типа Haskell ее применение оказывается вполне уместным). Ну, и так далее.

В общем, в каждой подобласти ИИ есть свой минимально необходимый набор математических знаний, без которого очень сложно начать эту подобласть изучать. Для ИНС это линейка, матан, численные методы, весьма желательно теория вероятностей. В других областях это может быть комбинаторика, графы, теория алгоритмов, мат. логика. Есть разделы математики, которые окажутся неизбежными для изучения/использования, только при выборе конкретной подобласти или даже конкретных методов в ней; а так они или совсем не нужны, или нужны только самые базовые сведения из них.