Компилятор и так не требуется для запуска EXE! Требуются только runtime-библиотеки, их можно слинковать статически (см. выше), либо положить в папку с EXE (с помощью
dependencywalker.com определите какие именно нужны и соблюдите архитектуру - x86 или x86_64) или распространять приложение вместе с подходящим инсталлятором Visual C++ Runtime.
А если Qt, то случай особый, оно "коварно".