Начните с теории вероятности, попутно пройдетесь по комбинаторике. Потом статистика.
Параллельно - заглядывайте в функциональный анализ и линейную алгебру.
Можно сразу же начать читать что-то вроде Мерфи или Бишопа по машинному обучению, чтоб было веселей.
ps если вы гурман, добавьте общую алгебру на десерт :).
