В моей практике для самописной программы Windows Defender-у оказалось достаточно манифеста в exe-шнике — самого обычного, который по умолчанию пихают.
Возможно также, что в названии файла не должно быть слова install или setup, а, скажем, только название программы и версия. Моя программа была без установщика, точнее не подскажу.