1) Знаю, что для почтового серва нужен белый статический адресс. Вопрос: обязательно ли прямое подключение кабеля провайдера в сетевую карту компа с почтовым сервером? или можно пробросить порт на роутере?
Почтовый сервер поднять дома не получится. Все письма с такого сервера, с вероятностью 99%, будут попадать в спам. Потому, что домашние пользователи часто разводят вирусы, которые пользуясь свободными ресурсами рассылают спам. В итоге все домашние сети находятся во всевозможных black листах.
2) Есть комп с dns сервером, нужно ли домен регистрировать?
Наверное тебе нужен какой-то текстовый адрес, вида имя@фамилия.ru. А адрес - это домен с указанием mx записей. Так что да, нужен.
3) Нужно прописывать обратную зону у провайдера и spf тоже?
Нужно и то и другое, в противном случае письма могут пойти быть восприняты как спам. По крайней мере так было, когда я поднимал свой почтовый сервер (лет 6 назад).
4) Где должна быть прописана запись mx и A?
В dns сервере, который отвечает за твой домен.
В общем, самый простой вариант: использовать почту для домена.