Ну, вы собираетесь написать систему символьной алгебры с нуля, а это - сложная задача. Лучше просто напишите коннектор к maxima или octave, они умеют это делать.
Разработка же с нуля, это огромное количество RnD, да еще требующее довольно специфичных знаний в области высшей алгебры (ничего общего со школьной алгеброй не имеет).
Для начала, нужно научиться хотя бы хранить уравнение (в виде строки или в виде
ОПЗ, или в виде
AST, или еще как-то) и делать с ним эквивалентные преобразования.