В первую очередь теория множеств и логика. Теория вычислимости тоже полезна. В области разработки микроэлектронных систем, ИИ, верификации программ, рекомендательных системах, проектировании языков программирования этим надо владеть глубоко, в остальных областях достаточно общего знакомства, но на начальном уровне знать надо. Хорошо еще теорию категорий и общую алгебру, но это сложные темы, их стоит поверхностно просмотреть, а потом углубляться по мере возможности и желания.
Чаще всего требуются теория вероятности и статистика (ну и комбинаторика). Особенно в модном нынче анализе данных с машинным обучением.
В машинном обучении очень важна линейная алгебра.
В графике, САПР и робототехнике еще будет полезна дифференциальная геометрия.
Порядок изучения, мне кажется, не должен быть строгим. Лучше изучать по маленьким кусочкам разные дисциплины, иногда возвращаясь к темам для более глубокого изучения.