Для начала, 3D редакторы бывают разные. Есть сложные САПР, как 3Dmax, SolidWorks. Есть простейшие варианты, работающие даже на спектруме. Особо выделяется в этом многообразии OpenSCAD, использующая для описания модели свой язык разметки (подобную программу написать легче).
В основе редактора лежит 3D движок. Он основан на стереометрии и линейной алгебре. К нему прикручена система управления и визуализации, а также прочие функции.
Можно использовать готовый движок, можно писать самому.
С одной стороны, 3D редактор программа большая и требует серьезных знаний в математике. С другой же, при последовательном подходе, выучить необходимую теорию - выполнимая задача (тут порекомендую книгу "Думай как математик").
Важно выбрать хороший язык программирования. Лично я бы взял Lisp, на нем просто программировать и легко искать баги, несмотря на непривычный синтаксис.
В любом случае, прилагая усилия можно выполнить любую задачу, главное правильно поставить цель.