Писать компилятор с нуля не советую - это целая наука.
Погуглите, например, "opcodes list x86" - а потом решайте, надо ли оно вам.
Но вы можете подключить внешний компилятор к своему редактору. Благо многие работают через командную строку. Думаю, для вас не должно быть проблемой из своей программы запустить другую внешнюю консольную программу с параметрами.
А вообще сейчас идёт интересная мода - писать движок на быстром языке, типа C++, а пользователям давать возможность расширять функционал на другом встраиваемом языке, типа Lua, но может быть любой, хоть JS, хоть C#. Даже на C++ можно, но тогда удобнее вашу программу сделать библиотекой, а расширение пользователя будет основной программой. Конечно, в вашем конкретном случае эти модели могут быть неприменимы - это уже вам виднее.
Основное требование к встраиваемому языку - его простота в изучении и использовании. Ведь не все являются программистами, тем более на C++. Так что чем проще встраиваемый язык, тем шире у вас аудитория.
