SimAllll

Как вообще интегрируют разные языки друг в дргуа. Например html -> js

2 абсолютно отдельные библиотеки - одна для HTML, другая какой-нибудь JS-движок с обвязкой
в основном работает первая, а как находит элемент <script> - дергает вторую

в php - там вообще парсеру до фени что вокруг него, хоть html хоть brainfuck, он ищет только <?php <? ?> и т.д.

sandboxie не видал, а вообще самый примитивный вариант - сделать на основе виртуальной машины

а чтобы было удобно пользоваться (для автоматизации создания VM и т.д), у виртуальных машин, того же virtualbox, имеется SDK
язык - C/C++
можете оценить такой проект, как Genymotion - это эмулятор Android, созданный таким методом. ИМХО весьма удобный... а вместо Android там могла бы быть и та же винда...

еще есть же готовые песочницы с открытым исходным кодом... можно его взять и доделать, даже переделать
язык - опять C/C++