Программирование это процесс создания программ. Программа - последовательность действий. Любые абстракции в программировании подчинены задаче более ясно выражать последовательность действий.
Современная высшая математика это процесс изучения свойств абстрактных абстракций над абстракциями над абстракциями абстракций.
Улавливаете разницу?)
Программирование != Математика
В программировании в большинстве случаев из математики, нужно уметь только умножать делить, знать основы булевой алгебры (и, или, не), уметь работать с побитовыми сдвигами. Впрочем все эти базовые умения скорее относятся к информатике.
Поэтому уверен, все необходимые знания чтобы начать учить Си и Асм, у вас уже есть, приступайте)