Я бы советовал начать с изучения оценки сложности алгоритмов. То есть научиться понимать разницу между квадратной сложностью и логарифмической и как они получаются. Тут наверное ключевое «математическое» слово - комбинаторика. Интегралы и иже с ними Вам пригодятся в очень редких случаях.
