Mathematica, сам пользуюсь и тебе советую. Правда необычный синтаксис, но если освоить, то очень мощная система.
Mathematica - более сложный но и более быстрый и мощный
Maple - проще, но он иногда неправильно работает (сгодится для небольших символьных расчетов)
