1. Покупаете домен второго уровня (желательно - так проще).
2. Покупаете у вашего провайдера внешний IP
3. На вашем сервере открываете 25 порт и пробрасываете с внешнего IP на ваш сервер этот порт. Либо просто открываете, если сервер смотрит напрямую наружу.
4. На сервере устанавливаете любой SMTP-агент. Можно и постфикс, и экзим, и что угодно еще. Хоть сэндмэил. Кстати, последний для вашей цели вообще шикарен - крайне прост в настройке.
5. На вашем хостинге или там, куда вы делегировали свой домен, прописываете 4 DNS-записи: А - для обозначения, что на этом адресе висит этот IP; MX - Здесь привязывается адрес почтового домена к реальному адресу сервера (к записи А). Например, вы купили домен domain.com, а имя сервера mail.domain.com. Значит, запись А для этого сервера будет "123.456.789.012 mail.domain.com", а запись MX: "domain.com mail.domain.com". Там еще есть понятия приоритетов, но это уже гуглите. Там все просто.
Далее, настраиваете там же DNS-запись PTR и SPF. PTR - Это запись, обратная от A. Служит для проверки валидности вашего сервера (со стороны почтовика), а вообще нужна, чтобы можно было по IP узнать имя сервера. Без неё письма с вашего сервера либо вообще не будут приниматься другими почтовиками, либо будут отправлены в спам. А то и вовсе отсеяны. И последняя по порядку, но столь же важная - SPF. Это запись формата TXT. Тоже легко найдете описание в инете.
Теперь по инструкциям.
Postfix
Exim:
вот и
вотSendmail 
