Вариант первый - поставить и забыть это Zimbra: быстро практично но мало опыта
плюсы: быстро и зачастую работает из коробки.
минусы: если чтото сломается вы врядли сходу разберетесь что не так.
Вариант второй - настроить самому -долго но много полезного опыта.
плюсы: достаточно полное понимание что и как работает и безпроблемный ремонт, возможность допилить под свои нужды.
минусы: требует времени на изучение материалов и хождение по граблям.
Самые часто используемые компоненты бесплатных почтовых систем:
ОС - на выбор Centos или Debian, если времени много и хочется бонусный опыт то Gentoo.
exim или postfix - smtp сервер
dovecot или courier imap - pop3/imap сервер
Базу где хранить логины пароли и тд это может быть как текстовичок так и БД MySQL или Postgres
далее наверно захочется спамфильтр - spamassasin, amavisd
антивирь - clamav
сервер сайд фильтры для почты (раскладывать почту по папкам на основании правил) sieve
вебморду для доступа в почтовые ящики squirremail. roundcube, horde и тд
вебморду для управления пользователями (если в БД) postfixadmin
вот както так.