Плюсы:
Символьные вычисления: cos'(x) выведет вам sin(x)
Легко рисовать графики Plot[cos'(x)] нарисует график производной
Можно делать анимацию: Animate[cos(a x), {a, 0, 100}] покажет анимированную картинку
Много данных, много реализованных численных методов. Много. Очень много всего
Минусы:
Свой язык: Лично мне язык математики не очень нравится.
Скорость: Писал программу в математике и на C++. На плюсах быстрее примерно в 100 раз. Вроде как математика написана на Java и интерпритирует код. Возможно замедление связано с этим.
Используется:
Математиками и физиками для символьных вычислений, визуализации, графиков, наглядных примеров. Можно использовать и для численных вычислений, но по моим ощущениям тут более популярен Matlab.
TL;DR: Если надо построить график векторного поля напряженности и градиента плотности математика незаменима. Если надо набросать программу, которая скачивает с сайта небольшую БД и считает среднюю зарплату по сотрудникам - смотрите в сторону .Net или Java