Изучение нужно начинать с ярлыка запуска приложения. Узнав путь размещения файлов приложения, дальше можно найти все что ссылается на них с помощью
procmon от sysinternals можно промониторить пути в реестре и файлы на диске.
Удаление приложения это:
* остановка приложения и всех его компонентов (например такие могут быть установлены в internet explorer и вылезать в проводнике)
* удаление веток реестра с настройками (чаще всего это HKCU или HKLM /Software/имя_компании/имя_приложения)
* удаление регистрации activex библиотек с помощью
regsvr32 (по простому это можно будет сделать после удаления файлов приложения например тем же
autoruns записи о них будут помечены красным).
* удаление файлов настроек в %localappdata% (бывает еще Programs подпапка) и %appdata% /имя_компании/имя_приложения или /ProgramData (редко но туда тоже гадят). Бывает приложения из linux мира хранят свои файлы в %userprofile%/.имя_приложения
* удаление файлов в каталоге программы (смотреть по ярлыку и файлам, которые покажет procmon)
p.s. managed приложения так не удалить, там по другому все, с другой стороны они штатно удаляются из настроек приложения (тех что не в панели управления)