en.wikipedia.org/wiki/Apophysis_%28software%29
sourceforge.net/projects/apophysis7x/ (новая версия)
Есть ещё Ultra Fractal и т.п. софт. Поковырявшись, можно писать плагины со своими формулами :), и из базы исходников существующих плагинов, соответственно, выдёргивать имеющиеся формулы.
