Ставь bind (свой dns), ставь postfix (или exim, они более менее просты) +dovecot (доставщик почты) + spamassassin + ClamAV
Вдоволь тренировок будет.
На тему установки статей полно.
1. Настраиваешь Bind (IN A, MX)
2.Прописываешь у регистратора свой NS (nameserver)
3. Настраиваешь связку postfix(или exim)+dovecot (антивирь и спаморез можно потом прикрутить)
4. Ждешь обновления кэша dns и тестируешь свой сервер на предмет прохода писем.
Это если на пальцах) Можете и с RoundCube поиграться, но я бы начал с этого.