Александр

Ну и вопросик )))
Проведите рекламу...

чтобы люди устанавливали наши DNS

Это полностью зависит от "людей".
Они должны сказать: "Хотим размещать зону у вас"
Они должны у регистратора домена прописать IP ваших DNS серверов.

Очень давно не работал с VestaCP )
1. Надеюсь 1.1.1.1 это вымышленный ip адрес. Там должен находиться белый ip адрес
выданный провайдером №2.
2. Надо добавить МХ запись к DOMAIN.RU. те раньше, в далекие времена ))), надо было прописывать две записи под МХ: DOMAIN.RU и MX.DOMAIN.RU с разными приоритетами (у первого число меньше). Смысл: Есть USER@DOMAIN.RU. Почтовые серверы. правильные, начинают искать DOMAIN.RU по A и MX, но у нас hostname MX.DOMAIN.RU.
Может у VestaCP автоматом прописываться? Не помню.
3. Тестирование. Создаем 2-х пользователей USER1@DOMAIN.RU и USER2@DOMAIN.RU и пытаемся послать почту друг другу. Желательно из под VestaCP. Потом посылать тестовые письма уже на другие адреса.
4.

Unable to authenticate at present: authentication socket connection error

Может почтовик создали но не запустили, а также, посмотрите на параметры аккаунта: hostname, порт, шифрование ....Надеюсь у вас реально не 1.1.1.1 ip адрес. )))

1. ДНС тут не причем (почти). В ДНС прописывается имена на маршрутизатор (200.242.30.40) и без разницы какой порт.
2. На маршрутизаторе (200.242.30.40) пробрось 81 порт на 80 порт IIS (100.10.10.5). но в браузере придется указывать 81 порт, например, мосайт.рф:81
3. Что бы не смущать "уборщиц" почему надо писать в браузере мосайт.рф:81. Установи новую машину с кэширующим вебсервером Nginx. В его настройка пропиши оба твоих серверов. На маршрутизаторе пробрось на него 80 порт. Тогда Пакеты пришедшие на маршрутизатор будут пересылаться на Nginx сервер, а он в свою очередь будет стучаться по имени на нужный тебе сервер.
Смущают твои IP адреса: (IP: 100.10.10.5) и (IP: 10.10.0.12). Nginx должен быть в обоих подсетях. С маршрутизацией намучаешься )))

МЕНЯ УБИВАЮТ ОТВЕТЫ ))))

maps.google.com. - maps это поддомен

НЕТ. maps - это HOST.
Но может быть доменом в случаи - www.maps.google.com, где www - хост, maps - домен 3 уровня, google - домен 2 уровня, com - домен первого уровня.

К maps.google.com прописан IP адрес в ДНС. И когда вы попадаете на Вебсервер он подменяет запрос, например для Apache есть модуль Apache Module mod_rewrite

DNS начинаются с корневых серверов. В них прописаны другие DNS сервера, а в других следующие DNS сервера. Прописываются внесением в настройки DNS записи типа NS.

У меня есть доменное имя у регистратора. Я все записи для этого домена прописываю в
панели у регистратора - A CNAME MX TXT итд итп

Тут многое пропущено.
1. Регистрация имени домена. Это только "бумага".
2. Кто то должен у себя в DNS добавить запись NS domen.ru - первичный DNS. У регистратора вы указываете его IP адрес. Например, зарегистрировали domen.ru на nic.ru, но указали что первичным будет сервер на reg.ru.
3. Далее вам надо вторичный сервер DNS где вы будете указывать связь между IP адресами и хост машинами. Тут часто путают понятия домена и хоста, что очень меня бесит. Для это в первичном DNS прописывается IP адрес вторичного сервера. Тут как раз и прописываются "A CNAME MX TXT итд итп". Например, на reg.ru указали что вторичным будет IP адрес который выделил домашний провайдер. Ставь у себя дома DNS сервер.

Есть ли старшинство в такой иерархии.

Нету. Но главное правильно прописать. Если вы в первичном сервере добавили запись NS на ваш IP адрес VPS. Тогда к вашему BIND будут (могут) идти запросы. Если прописали NS запись в вторичном - это ошибка. На вторичном сервере прописывается домен 3-го уровня -aaa.domen.ru. НЕ ПУТАТЬ с хостом aaa.domen.ru!!! Постоянная ошибка у многих.

Прописываешь, ждешь сутки,

Обычно 4 часа надо ждать (раньше так было). Можно уменьшать время обновления DNS зоны, если провайдер позволяет )))

Не забываем что для DNS нужно два IP адреса (два зеркальных DNS)

Сутки прошли ... так никто и не .... убил свое время )))
1) Попробуй почитать например https://habr.com/ru/company/netangels/blog/326400/
Балансировщик - тяжелая технология и стоит много денег, следовательно "учебник" вряд ли найдешь. Статьи с общим обзором в интернете есть.
2) Когда ты говоришь

привязать любой домен

что то у меня в мозгах клинит. Наверно по этому нет ответов. Домен, любой, должен быть зарегистрирован в DNS, иначе он не будет работать. Это выражение похоже на: "сделать воду мокрой" или "Как выпить воду".
Тебе правильнее задать вопрос: "Какие балансировщики DNS существуют". Или что то похожее.

1) Никаких проблем. Если имена виртуальных хостов соответствуют Сервису, то проблема только в NAT-е, те проброс порта из Docker контейнера на внешний IP. Например, Есть Nginx на Docker контейнере на 80 порту, там вы держите 10 Веб "серверов"(виртуальных хостов), следовательно надо пробросить на внешний IP 80 порт. А дальше прописывайте все виртуальные хосты домена на внешний IP. Веб сервер Docker контейнера будет отдавать нужный контент. С postgres аналогично, ну будет у вас 10 баз в одном контейнере...
2) Проблемы. Если вы хотите, например, каждый виртуальный хост держать в отдельном Docker контейнере. Тогда вам надо каждому виртуальному хосту давать разный порт, например для веб сервера, 80,81,82,...,90. А также, ставить еще один Docker контейнер с Nginx как кеширующий и с него пробрасывать 80 порт на внешний IP. Но это только для Веб.
Для postgres придется просто менять порты, например, 54321, 54322, .... 54330.

Тут все относительно просто и можно разными (немного другими) способами пойти.

Вы выходите из своей квартиры в шапке с прорезями для глаз. Является ли это фактом скрытия что вы вышли из квартиры?
Факт что вы обратились к другому DNS можно отследить, а вот что вы в ответе получили - это сложновато получить если использовать шифрование.

Все как обычно ...
1. Ну, пожалуйста, поставьте в сети кеширующий ДНС сервер )))
Тогда все компьютеры в сети будут запрашивать его. На нем можно прописать соответствие IP-Name, иначе по имени пинг не работает. Исключение, на компе в hosts прописывать имена.
2. Сложность с подсетями.
ДНС сервер должен быть доступен во всех сетях одновременно. Следовательно:
а) в каждой подсети ставить ДНС сервер, где и прописывать соответствие имен.
б) ставить ДНС сервер на комп с несколькими сетевыми интерфейсами. Каждый интерфейс в свою подсеть.
в) строить подсеть общую с другими подсетями и в ней устанавливать ДНС сервер
3. И добавьте - маршрутизацию пакетов через iptables уже по IP-адресам

Мое мнение - нет, нарушения нет.
НО!!! Будьте готовы к судебным искам, мое мнение - вероятность 99.9% - вы выиграете. Просто возможно надо объяснить почему ...COM....
Был очень давно случай - спор по созвучному windowsupdate.... что то там. Вроде люди выиграли - типо они имели ввиду "ОКНО В ЕВРОПУ" )))

PTR я могу указать только одному почтовому серверу.

Неверно.
Можно указать множество PTR на 1 ip. Это обязанность (должен) провайдера вписывать в обратную зону доменные имена.
Невозможность вписать множество PTR - Провайдер не предусматривал или ограничил количество PTR. Позвоните напишите письмо кто вам выдал ip адрес с просьбой зарегистрировать обратные адреса.

Одинаковой путь к корневой папки сделай.
Для примера Apache:
=== Первый сервер
DocumentRoot /www/all.site.ru
ServerName one.site.ru
=== Второй сервер
DocumentRoot /www/all.site.ru
ServerName two.site.ru

Оба сайта one.site.ru и two.site.ru будут ссылаться на одну и туже директорию /www/all.site.ru

UPD - До конца вопрос не прочитал )))
а зачем так сложно "Перепись" и "Удаление" - по сути two.site.ru это новый сайт. Зачем на one делать переадресацию?

В книгах. которые я читал еще в бумажных версиях, от силы 2 страницы, ну иногда 10, очень редко 30. ТАМ ничего нет супер умного. Всего полно в интернете.
Основной принцип DNS: преобразование имени в ip-адрес и обратно (за это отвечают провайдеры). Притом, у вас случай упрощенный: нет почты, нет сервера DNS.
Хотите понять как работает DNS: Создайте дома (на работе) 2-а сайта на домене 3-го уровня. Для упрощения задачи: host1.domen1.localdomain.loc и host1.domen2.localdomain.loc. желательно не на одной машине. Вот Мозги закипят )))

1. Почему то отсутствует ...
@ MX 10 domain.ru.
Ну и ладно ))) почтовый сервер возможно нормально отрабатывает. Хотя лет 10 назад такая запись требовалась.
2. Почти тоже что и у latush но можно и через CNAME
foto IN CNAME mail.domain.ru. (тут подвох, читать далее)
foto IN MX 15 foto.domain.ru. Я считаю что лучше не писать тут mail.domain.ru. Почтовый сервер ищет MX запись foto.domain.ru, а не mail.domain.ru.
Ну и настроить почтовый сервер на прием и отправку писем... тут могут быть проблемы если будешь делать на том же почтовом сервере. Как то бился головой об стол. Был domain1.ru и domain2.ru и зараза отсылал от пользователя user@domain2.ru через domain1.ru. не помню как решил проблемы ... было очень давно )))
3.

Почта на домене 3 уровня

Даже не думай ))). Для домена 3 уровня с начало надо прописать NS, потом настроить зону, создать записи типа mail.photo.domain.ru. Там много танцев с бубном )))

Будем рассказывать слухи )))
Требуется содержать 2 сервера имен....
Толи по стандарту RFC
Толи по стандарту "провайдеров" для подключения к корневым серверам
.... притом на разных подсетях.
Для надежности работы.
Или надо было рассказывать как вообще работают DNS? )))

добрый и надежный https )))
Про DNS уже написали .... так что будем рыть в другую степь :)
1) Проверь время на компьютере
2) Выключи проверку SSL в антивирусе
3) Попробуй посмотреть сертификат. Предназначение, кому и кем должно быть без ошибок.