Втупую - subprocess для запуска дочернего процесса с перехватом стандартного ввода вывода. А дальше какая-то база, содержащая набор пар "ввод - ожидаемый вывод" для скрипта.
Веселье начнётся, когда ты поймёшь, что в запускаемом скрипте может быть всё, что угодно, и его надо выполнять в песочнице, где можно контролировать какие модули он импортирует.
Reply_Other, да, это мысль.
Я бы ещё сделал немножко иначе. Можно дописать в начало выполняемого скрипта установку хука через sys.addaudithook, чтобы ловить импорт модулей, и ронять интерпретатор через os._exit() (с заранее выбранным кодом возврата) если видим что-то не в белом списке. Только это надо сделать так, чтобы коду скрипта было как можно труднее влезть в этот белый список, да и в код хука как такового.
