Пункт 1: Подучить программирование, научиться пользоваться разными библиотеками.
Пункт 2: Написать для начала программу попроще, которую ты уже понимаешь как писать. А лучше штук 5.
Пункт 3: Поработать в существующих 3Д редакторах, написать список фич, которые ты уже понял как реализовывать хотя бы на бумаге.
Ну серьезно.
Вопрос показывает, что ты не готов писать сложную задачу, если хочешь чтобы тебе по пунктам разжевывали. Разжевывание не поможет, пока ты не будешь технически готов.
Опять же непонятно как у тебя с математикой, особенно геометрией.