Руслан Федосеев

при получении ип вызывать скрипт, который выполняет nsupdate

Проверьте версию openvpn.... Вдруг у вас просто опции неподдерживаемые...

указать ему днс сервером тот, который знает про домен?

Бесплатно эту информацию никто хранить не будет. Хранить это может регистратор, и за определенную денежку дать вам эту историю.

Разумно AD домен в таком случае создавать на отдельном поддомене, например office.test.ru

Вам нужно получать почту для вашего домена? Если да - на ваш сервер? Если да - ип адрес этого сервера указан как A запись для mail поддомена? Если да - то все будет работать. Если вам не надо получать почту - то вам вообще не нужна mx запись

задавать техподдержке хостера вопросы до тех пор, пока не решится проблема

https://www.consul.io/ ?

это называется суффикс поиска.
посмотрите в resolv.conf на линуксовой машине, там в поле search скорее всего вписан ваш домен.
На винде тоже есть такая настройка...

в NS запись можно внести только имя сервера.
Вам необходимо создать в своем домене запись
ns.my_domain.ru A a.b.c.d

далее зарегистрировать NS сервер. Это обычно делается в панели регистратора домена. Поищите, как указать NS сервер, если он в вашем домене.
Вот на этапе регистрации и делается связка имени вашего NS сервера с его ип адресом.

держать на одном ип ровно один сайт.

на киррилических доменах почта работать не будет. Потому что преобразование в punycode почтовые клиенты не умеют, это делают только броузеры.

наймите или позовите администратора. Он сделает.

алиас - это синоним. Он не может указывать на другой ип. Точнее он вообще указывать на ип не может. Он указывает на домен, который уже указывает на ип...

Вам судя по всему надо просто еще один сайт в панель добавить

задача не решается на уровне dns.
если клиент не умеет обрабатывать srv записи - то способа передать ему номер порта не существует.