Критична установка именно через msi? Можно распространять агента вместе с конфигом, устанавливая сервис отдельной командой. В таком случае можно дописывать Hostname и Server в конфиг с помощью любого скрипта, тем же bat-файлом.
Всё оказалось довольно просто - созданный через ПДД ящик не был активирован, соответсвенно, smtp не работало. Нужно было один раз залогиниться в веб-интерфейс ящика, и отправка заработала.
Извне этот ДНС на nslookup не отвечает. Либо у них есть конкретные ограничения, из каких сетей работать(что в принципе логично), и физический сервер в разрешенные сети попадает, а виртуальный нет, либо он работает исключительно после дождичка в четверг