Levitanus

Так вы вопрос сформулируйте, что именно не получается.
Если вопрос в автоматической установке приложения - ну любое приложение это в конечном счете просто файлики и, может быть, немного реестра.
Можно взять чистую виртуалку, включить регмон/файлмон и отследить что и куда поставит инсталлятор. Затем руками можно будет уже ставить без инсталлятора.

Докер для виндовс приложений конечно можно, но докер всеже больше рассчитан на линуксовую область. В случае облака, проще сделать образ для виртуалки, с которого клонировать и запускать тестовую машину. Но это зависит от того, что вам нужно.
А в первую очередь, все-таки конкретнее сформулировать желаемое

Начните с "алгоритма" для ручной инсталляции и прогона тестов, а потом думайте как автоматизировать каждый шаг. Алгоритм обычно делится на две части: одноразовая инсталляция (можно сделать вручную и приготовить образ машины), и то что делаем при каждом запуске.
В качестве инструмента для оркестрации я использую Jenkins.