Какой пакет символьной математики лучше всего дополняет Matlab?

А в каких случаях? Если честно, не встречал такого.

Шифр простой замены

Я бы начал с построения таблицы частот в зашифрованном тексте — для каждого числа узнал бы его частоту. И потом сопоставил бы две таблицы — из текста и эталонную. Пример «в лоб», но может не совсем чисто сработать на коротких текстах.