Для начала хватит арифметики. Кривые Пеано, Серпиньского и другие не требуют для повторения никаких особых знаний
Следующий уровень - Комплексный анализ. Знания из него нужны для оперирования со множеством Жолиа и другими итеративными картинками и аттракторами.
При дальнейшем углублении может потянуться высшая алгебра, топология, теория чисел, дифференциальные уравнения в частных производных, теория устойчивости, теория автоматического управления и так далее.
