Василий

1. Покупаете домен второго уровня (желательно - так проще).
2. Покупаете у вашего провайдера внешний IP
3. На вашем сервере открываете 25 порт и пробрасываете с внешнего IP на ваш сервер этот порт. Либо просто открываете, если сервер смотрит напрямую наружу.
4. На сервере устанавливаете любой SMTP-агент. Можно и постфикс, и экзим, и что угодно еще. Хоть сэндмэил. Кстати, последний для вашей цели вообще шикарен - крайне прост в настройке.
5. На вашем хостинге или там, куда вы делегировали свой домен, прописываете 4 DNS-записи: А - для обозначения, что на этом адресе висит этот IP; MX - Здесь привязывается адрес почтового домена к реальному адресу сервера (к записи А). Например, вы купили домен domain.com, а имя сервера mail.domain.com. Значит, запись А для этого сервера будет "123.456.789.012 mail.domain.com", а запись MX: "domain.com mail.domain.com". Там еще есть понятия приоритетов, но это уже гуглите. Там все просто.
Далее, настраиваете там же DNS-запись PTR и SPF. PTR - Это запись, обратная от A. Служит для проверки валидности вашего сервера (со стороны почтовика), а вообще нужна, чтобы можно было по IP узнать имя сервера. Без неё письма с вашего сервера либо вообще не будут приниматься другими почтовиками, либо будут отправлены в спам. А то и вовсе отсеяны. И последняя по порядку, но столь же важная - SPF. Это запись формата TXT. Тоже легко найдете описание в инете.

Теперь по инструкциям.
Postfix
Exim: вот и вот
Sendmail

Конекретно в SMF не знаю. Но мне нужны более подробные логи по SMTP сессии, чтобы попробовать вам помочь. Invalid EHLO arguments - эта ошибка скорее всего образуется из-за неверной интерпретации запроса от SMF сервером, но возможно, что сам SMF шлет всякую лабуду. Единственное, что могу вам посоветовать сделать, не видя логов - возможно SMF имеет переключение функций приветственных сообщений. Если в кратце, поищите там возможность переключать EHLO на HELO. Но если этого нет (а скорее всего именно нет - это ведь не почтовый сервер), нужны логи.

Если не помог предыдущий совет, попробуйте, ради эксперимента, откатить версию php. В свое время мне помогло с phpBB.