sandboxie не видал, а вообще самый примитивный вариант - сделать на основе виртуальной машины

а чтобы было удобно пользоваться (для автоматизации создания VM и т.д), у виртуальных машин, того же virtualbox, имеется SDK
язык - C/C++
можете оценить такой проект, как Genymotion - это эмулятор Android, созданный таким методом. ИМХО весьма удобный... а вместо Android там могла бы быть и та же винда...

еще есть же готовые песочницы с открытым исходным кодом... можно его взять и доделать, даже переделать
язык - опять C/C++