я правильно понимаю, что вам нужно, чтоб тесты запускались на машинах, где может не стоять питон?
тогда создайте файл со скриптом, который запускает все ваши скрипты и сохраняет (или
отправляет) результат, куда надо, а потом смотрите в сторону
py2exe.