Грубо говоря:
postfix - принимает почту от пользователей и доставляет её либо до другого сервера либо в локальную папку в одном из поддерживаемых форматов (или даже в БД)
dovecot - по запросу пользователя выдаёт ему почту, сохранённую в локальном хранилище.
phpmailer - фактически клиент, позволяющий отправлять почту