Например
Blender 3D - у него достаточно легко кастомизируется интерфейс. Пишете плагин, в котором:
- прячете весь родной интерфейс блендера
- рисуете свой интерфейс на основе стандартных контролов блендера
- приклеиваете к своими кнопкам нужный функционал
- пакуете свой билд блендера с плагином.
Да, этот тот же микроскоп, но это микроскоп-траснформер и один из мощнейших и крутейших 3D пакетов в мире и там уже есть все, что нужно для работы с 3D объектами. Т.е., надо будет писать только код GUI и общую логику работы, без необходимости залезать в ньюансы работы 3D движков. А если надо будет сделать что-то еще - либо оно там есть, либо есть плагин, либо это все достаточно легко делается без необходимости реализовывать ручками с нуля. И еще он OpenSource.