Вначале надо бы определить, откуда рассылают спам. Либо у вас открытый relay, либо с помощью уязвимости в скриптах. Попробуйте это посмотреть по логам sendmail или по логам http/nginx. Логи nginx удобно анализировать, отсортировав по строке запроса типа такого:
cat nginx_log | awk '{print $7}' | sort | uniq -c |egrep 'http|ftp'
egrep делается, т.к. при уязвимостях в скриптах запросы могут выглядеть как index.php?f=http://anydomain.tld/somefile.txt