Нейронная сеть это просто функция многих переменных. Поэтому в идеале надо очень хорошо понимать как устроены эти функции. Советую посмотреть
первый и
второй семестр по матанализу. Но это конечно в идеале. Если начнёте чувствовать что чистый матан вас убьёт, то лучше пройти курсы на
степике, а всю математическую базу воспринимать как магическую пыльцу.