Масштабирование в ваших условиях - это отключеные квоты на дисковое место и возможность быстро добавить место при его исчерпании. Ну первый вопрос решается элементарно, а второй - озаботьтесь кластерной расширяемой ФС под почтовый спул, где будут храниться ваши ящики. Тот CEPH или что то подобное...
Хотя я сомневаюсь, что у вас там будут терабайты, так что обычного сервера с FreeNas, экспортирующего iscsi раздел на почтовик вам хватит. Раздел отформатируйте под LVM и xfs да и храните ) Закончится место - добавляем диски, расширяем том, расширяем фс. Некуда добавлять диски - ставим рядом еще один freenas, экспортируем с него еще один диск, добавляем к вашей VG, расширяем том, расширяем фс...
А сам почта - да любая ;) Тот же iredmail решит все ваши задачи....
