1. Размер исходников одного из самых распространённых серверов - postfix - около 10 мегабайт. Причём это только SMTP-сервер, для работы с клиентами понадобится ещё POP3/IMAP-сервер.
2. Проблемы, в основном, не с самими решениями, а вокруг них - корректная настройка прямого и обратного DNS, DKIM, SPF, DMARK, спам-фильтров.
3. Абсолютно без разницы, что за сервер - самописный или готовое решение, если он правильно настроен и соблюдает стандарты.
4. Да. Нужен свой делегированный домен и настройка обратного DNS (PTR-запись) у интернет-провайдера.