Как вариант - создать bat файл с циклом "удалять деинсталлятор, пока файл не удалится, затем удалить батник (сам себя)", запустить батник без окна, выйти из программы.
Как вариант: exe удаляет всю необходимую информацию, а по окончанию удаления запускает системный процесс, таким образом деинсталлер удаляется системой.