Тоже советую swiftmailer через smtp. Архитектура и качество кода у него лучше, нежели у phpmailer'а. Хорошо документирован. Расширяем.
В общем если использовать программную рассылку через smtp, то нагрузка и скорость зависят практически только от почтаря и его настроек.
На одном из проектов swiftmailer успешно шлет довольно объемные рассылки через exim на shared хостинге.