Низкоуровневое программирование это просто программирование.
Просто программирование не требует матана, достаточно стандартной арифметики.
Много математики нужно там, где будет стоять задача запрограммировать какой-то математический алгоритм.
Например, чтобы нарисовать круг на ассемблере, нужно будет разобраться не только с тем, как работать с видеопамятью, но и с тем как собственно вычислить координаты точек на окружности круга, то есть геометрия, Пи, формулы.
Но если у вас плохо со школьным образованием, это очень явный признак того, что вы учиться в принципе не любите и не умеете, а в ИТ сфере без этого вообще никак.