В некоторых случаях возможно определить по надписям и картинкам, по свойствам файла, но вот особенности о которых знаю:
1 - Inno Setup - будет доступно меню ALT + SPACE там можешь почитать
2 - NSIS - обычно выделяется своим внешним видом если разработчик не заморачивался
Как вариант можешь методом перебора ключей тихой установки попытаться выяснить:
Читаешь какие ключи для тихой установки использует NSIS и пробуешь произвести тихую устаноку, если не получилось читаешь про ключи Inno Setup и тд. Но есть одно но - тихая установка может быть не реализована в твоём установочном файле.
Владимир Коротенко подметил верно в метаданных бывает информация которая тебе может помочь: