ValdikSS

Вам нужен сервер с выделенным IP-адресом, домен, правильно настроенная MX-запись на домене, указывающая на IP-адрес сервера.
На сервере необходим установленный и работающий SMTP-сервер (exim/postfix), принимающий почту к себе. Хостинг-провайдер или провайдер интернета не должен блокировать порт 25.
Больше для приёма ничего не требуется. Настроить это довольно просто, можно хостить хоть дома.

Типичный почтовый сервис состоит из множества компонентов: Message Delivery Agent (MDA) обеспечивает обработку входящих писем, Message Transfer Agent (MTA) отвечает за обработку исходящих писем, их отправку и доставку. Также пользователю необходим IMAP-сервер, для получения писем и работы ними; SMTP нужен для отправки и получения писем как для пользователей, так и для серверов.
Кроме этого минимального набора используются различные внешние обработчики: антиспам-системы, антивирусы, фильтры, DNSBL, и т.п.
Также сервису необходим почтовый веб-интерфейс, который может использовать обычный IMAP/SMTP-доступ, а может общаться с серверами через собственные API.

1. Насколько трудоёмко будет написать такой почтовый сервер самому?

Написать минимальный рабочий MDA+MTA с нулевыми знаниями устройства почты и протоколов так, чтобы ваши письма принимали другие почтовые сервисы, а ваш сервер не мог принять неправильно сформированную ерунду, при этом не отвергал бы не полностью соответствующие стандарту письма (которые встречаются регулярно) — задача на 2-3 недели full time для меня. Минимально реализовать весь стек — не менее нескольких месяцев.

2. Какие частые проблемы возникают в эксплуатации готовых решений?

Не смогу ответить на этот вопрос с точки зрения обывателя, у меня не возникает каких-либо частых проблем, связанных с эксплуатацией exim4/postfix/dovecot сотоварищи.

3. Как скрепные сервисы, почтовые и не только, реагируют на самодельную почту, есть тут какие-то проблемы?

Если всё настроено корректно, то и доходить будет нормально. Если ваш собственный сервер соответствует стандартам, текущим требованиям к доставке, то проблемы могут быть только на сетевом уровне или с доверием домену и IP-адресу, что не имеет непосредственного отношения к коду.

4. Нужно ли регистрировать домен для своей почты?

Вам потребуется не только домен, но еще и IP-адрес.

Чтобы маршрутизировать порт 25 через SSH-туннель, нужно:

1. Запустить туннель с SOCKS-портом: ssh -D 12345 user@host;
   
2. Настроить соксификатор, например, redsocks или v2ray;
   
3. Настроить правила iptables/nftables для перенаправления исходящих TCP-запросов на порт 25 к порту соксификатора.
   

Гораздо проще, надёжнее и технически корректнее настроить маршрут через VPN, тем более, что WireGuard у вас уже есть:

sudo ip route add default dev wg0 table 100
sudo ip rule add ipproto tcp dport 25 table 100

1. Домен IN-ADDR.ARPA это реальный физический домен, который где-то находится, и обслуживается реальными людьми, или это абстрактное название, которое просто зарезервировано под использование для E-Mail, наравне с 192.168..., 172.27... и 127.0.0.1?

in-addr.arpa — реальный существующий домен. PTR — понятие DNS, к email оно имеет только косвенное отношение (email использует ptr-записи для ip-адресов).
Когда вы делаете traceroute на какой-то IP-адрес, имена доменов, которые вы видите в выводе, получаются путём запроса PTR-записи IP-адреса:

traceroute to ya.ru (87.250.250.242), 30 hops max, 60 byte packets
 1  _gateway (192.168.101.1)  49.797 ms  119.433 ms  119.416 ms
 2  hosted-by.yourserver.se (95.215.45.5)  119.308 ms  119.242 ms  119.179 ms
 3  stk-tct-cr3.be22-1841.rascom.as20764.net (81.27.252.200)  166.091 ms  165.839 ms  165.776 ms
 4  * * *
 5  178.18.226.119.ix.dataix.ru (178.18.226.119)  165.459 ms  165.345 ms  165.312 ms
 6  * ya.ru (87.250.250.242)  79.669 ms *

PTR был, пожалуй, первой технологией защиты от спама со взломанных серверов или недоверенных сетей, но только потому, что его «нетривиально» сменить в общем случае, когда у совершающего рассылку нет на это полномочий.

2. Почему в PTR записях IP адреса записываются в обратном порядке? Какой в этом смысл?

Лёгкость хранения «обратного» дерева в памяти DNS-сервера, быстрый поиск записей. Скорее, технологическая особенность 80-х, а не необходимость.

3. Есть ли какой-то софт, позволяющий моделировать сети, скажем поднимать несколько виртуальных машин, и настраивать им разные роли. Например одну сконфигурировать как провайдера, другую как просто компьютер и т.д, чтобы наглядно моделировать взаимодействие в сети интернет, и больше не задавать подобные вопросы здесь

Зависит от того, что конкретно вам нужно моделировать. См. в сторону Cisco Packet Tracer, gns3.