Есть несколько подходов, например, делать самораспаковывающийся в %TEMP% архив, который запустит программу из временной папки (так делают некоторые установщики).
Мне больше нравится подход виртуализации файловой системы, когда все файлы находятся прямо внутри .exe и не копируются наружу, одно из таких решений - программа Molebox