Elenaki

Всё очень просто - вас поломали.

1. Вычищаем сайт от бэкдоров
2. Ищем как поломали
3. Меняем пароли, в том числе и на почту к которой привязан хостинг.

Странный файл я тоже скачала, успела, открыла в редакторе - там абркакадабра какая-то. Нет, понятно, что это код на PHP

Всё без проблем особых можно распаковать, но там будет какой либо webshell (скорее всего wsshell), для вас это никакого значения не имеет, вам нужно латать дыры.

Вам на сервер загрузили вирус, а потом запустили его, открыв этот файл в браузере. Не позволяйте незнакомцам загружать такие файлы на ваш сервер.

Вам логику спамера понимать не обязательно. Вся входящая почта должна проходить ряд базовых проверок на сервере (напр. наличие PTR записи в днс отправителя и тд.). Это не решит вопрос на 100% но отсекает значительную долю спама.
То, что прошло базовую проверку должно пройти через антиспам систему, которая уже принимает решение о доставке сообщения в ящик. Возможно ложное срабатывание, но тогда должна быть возможность такое сообщение вытащить и "папки Спам", либо отправить в спам, то что система признала за нормальное сообщение (это обучение). Антиспам система должна быть профилированной и обучаемой (для каждого пользователя свои настройки)

Сюдя по всему у Вас только базовый набор.

Выход такой
1. Строить свой мейлер с антиспамом. Тут варианты: на базе фришного ПО или прикупить коммерческий антиспам
2. Перенести свою почту на вменяемый сервис: яндекс, гмейл, мейлру, чтото там еще... Они есть платные как гмейл, есть и бесплатные вроди яндекса. В любом случае нужно читать условия

Как-то так