MrGroovy

Поправка: на сервере установлена Windows Server R2 2012

Если есть возможность то я бы порекомендовал обновить вашу версию сервера, так как основная поддержка Windows Server R2 2012 прекращена в 2018 году. Если это невозможно, то необходимо установить последние патчи. Так как Windows Server R2 2012 имеет ряд проблем с переполнением памяти ядра.
Далее настраиваем файрволл, базу данных и прочие сервисы в соответствии с официальной документацией от Microsoft .

какие порты лучше сразу закрыть

Закрываем все, что не нужно для непосредственной работы сервера.

какие роли и службы лучше не ставить

Лучше не ставить "крякнутые" и устаревшие службы. Первые могут содержать вредоносный код, вторые - системные эксплойты.

Для каждой отдельной уязвимости и для каждого отдельного типа существуют различные утилиты для проверки.
Начать можно с Nmap и продолжить чтением OWASP Web Application Security Guide.

Есть специальные ресурсы, сканеры уязвимостей, которые могут проверить большинство уязвимостей на каждом из уровней.
https://metascan.ru
https: //acunetix.com/
https: //detectify.com/

Ваша основная проблема не рассылка спама, вас взламывают и отключение части функционала сайта не выход из положения.

В итоге, сайты начинают либо дико грузить сервер или рассылать спам

может кто знает, как отключить функцию mail для определенного сайта, если сайт работает через php как модуль apache?

Я так понимаю, вы работаете с разными сайтами на разных СMS? А основные проблемы у вас с сайтом находя на apache?
Для отключения почтового модуля. Нужно удалить символические ссылки в /etc/apache2/mods-enabled/, указывающие на фактические файлы (хранящиеся в/etc/apache2/mods-available/) в зависимости от используемого почтового модуля. Но предварительно сделайте резервную копию.
Уязвимости можно условно разделить на уровни на которых они находятся по модели OSI.

1) Уязвимости сетевого стека OS
2) Открытые по ошибке порты (Торчащая наружу БД без авторизации).
3) Уязвимости связанные с работой прикладных протоколов из-за устаревших версий ПО (ssh,ftp)
4) Слабые пароли (Для ssh, ftp, mysql).
5) Уязвимости в веб-приложениях (OWASP TOP 10)

Вас могли взломать на каждом из уровней. Для каждой отдельной уязвимости и для каждого отдельного типа существуют различные утилиты для проверки. Начать можно с чтения OWASP Web Application Security Guide. и поэтапно устранять найденные уязвимости. Для проверки вам понадобится довольно много различных программ, начать можно с nmap.
Но есть и более простое решение. Ещё есть специальные ресурсы, сканеры уязвимостей, которые могут проверить большинство уязвимостей на каждом из уровней.
https://metascan.ru
https: //acunetix.cоm
https: //detectify.cоm
https: //hackertarget.com

Собственно вопрос, посоветуйте пожалуйста компанию для аудита данного случая, нужно обследовать пк специалистами дабы понять как это произошло и с помощью чего.

Советую Metascan они занимаются аудитом безопасности IT инфраструктуры, аутсорсингом отдела безопасности, а также занимаются тестами на проникновение. Они не только помогут понять как данный взлом произошел, но и помогут выстроить систему безопасность так, чтобы таких случаев не повторилось.

Причём, взламывают не только мой, но и на соседних по серверу аккаунтах

К сожалению без более подробной информации сказать сложно, где именно произошел взлом на стороне клиента или хостинга. Если вы верите в профессиональную компетенцию владельцев хостинга то лучше сразу искать новый. Но так как есть возможность что непосредственно взломали вас, то перед переносом сайта его необходимо проверить.

На моих аккаунтах были взломаны сайты на bitrix и на wordpress.

Возможно вас взломали через известные уязвимости в этих CMS. Уязвимости бывают двух видов - устаревшая версия самого ПО и уязвимости в плагинах или темах. Чтобы найти уязвимости в такие уязвимости можно воспользоваться специальными сканерами. Попробуйте, это:
- https://metascan.ru (Он может проверить как WordPress так и Bitrix )
- wprecon.com (проверка WordPress);
- 1c-bitrix.ru/products/cms/modules/security_scaner/ (Сканер безопасности 1С Butrix)

Как можно взломать через порт ? Реально ли это и т.д.

База данных на открытом порту предоставляет дополнительные векторы для атаки, например брут форс или эксплоит (очень показательный вариант CVE-2012-2122). Такого можно избежать закрыв доступ к 3306 порту.

о защите mysql знаю только о SQL инъекциях и о том что нужен норм пароль (что бы подобрать не смогли).

Базы данных в основном взламывают через ошибки в коде сайта и недостаточную фильтрацию входящих данных.
Нужно проверить код на возможность SQL-инъекция, так как появляется возможность извлечь root пароль. И в завершении проверить на XSS, так как можно украсть Cookies сессию администратора и через панель phpMyadmin работать c СУБД. Для этого вам понадобятся таки программы, как SQLmap, MetaSploit, Arachni.
Есть специальные ресурсы, сканеры уязвимостей, которые могут проверить большинство уязвимостей, например:
https://metascan.ru
https: //acunetix.com/
https: //detectify.com/

Вас взломали и ваш сайт, скорее всего используется для мошенничества.
Нужно удалить все сторонние файлы с сайта, в идеале лучше его восстановить из бэкапа. Смените все пароли и просканируйте файлы, на всякий случай, на предмет вредоносного ПО.

С чем это может быть связано? Какие промахи в безопасности такое производят?

Скорее всего вы неправильно настроили какой-то из компонентов сайта. Тут вариантов много, вот основные:

• Неправильная конфигурация прав доступа к файлам (Security Misconfiguration)
  
• Уязвимости связанные с доступом к базам данных (SQL-Injectionn)
  
• Слабые пароли (Brute Force)
  
• Межсайтовый скриптинг(XSS)
  

Еще не стоит исключать возможность эксплойта из-за устаревших версий ПО (ssh, ftp).

Вам нужно понять, что смена паролей и удаление сторонних файлов - это временная мера. Вас будут взламывать до тех пор, пока вы не закроете дыры в безопасности сайта. Я бы порекомендовал воспользоваться сканером широкого профиля, который проверяет сайт по всем направлениям сразу. Из онлайн вариантов есть METASCAN или Acunetix.
И еще советую ознакомится с мануалом по безопасности PHP https://www.php.net/manual/en/security.php

Насколько я понял, из вашего рассказа, злоумышленниками был создан пользователь которому передали root права. Вас взломали по средствам SQL инъекции, и внедрили примерно такой код:

CREATE USER 'intruder'@'localhost' IDENTIFIED BY 'intruder_password';
GRANT PROXY ON 'admin'@'localhost' TO 'intruder'@'localhost'

отрубил полностью доступ из внешки, удалил у рута наличие грат прокси, поменял пароли на всех учетках, все было хорошо ровно день...

Вам не помогли эти действия, потому что вы не устранили причину - возможность внедрения SQL кода. Для этого вам нужно настроить фильтрацию входящих данных и обращений. Например воспользовавшись встроенными функциями PHP:

$_POST[$_post] = mysql_real_escape_string($_POST[$_post])

И таким способом вам нужно отфильтровать все "слабые" места вашего кода. Найти их можно воспользовавшись утилитой SQLMAP для linux или использовать онлайн сканер, наподобие METASCAN, он покажет не только SQL уязвимости, но и проверит сайт на XSS, noSQL, уязвимости CMS, а также проверит всю инфраструктуру в целом.

Уязвимости в WP бывают двух видов - устаревшая версия самого WP и уязвимости в плагинах и темах. Крайне опасно использовать "крякнутые" темы, в них часто вшивают вредоносный код. Чтобы найти уязвимости в Wordpress можно воспользоваться специальным сканером для WP. Навскидку, это:
- https://metascan.ru;
- wprecon.com;
- hackertarget.com/wordpress-security-scan.
И разумеется быть аккуратнее с бесплатными темами и сомнительными плагинами, так как они изначально могут содержать в себе вирусы.

Уязвимости можно условно разделить на уровни на которых они находятся по модели OSI.
1) Уязвимости сетевого стека OS
2) Открытые по ошибке порты (Торчащая наружу БД без авторизации).
3) Уязвимости связанные с работой прикладных протоколов из-за устаревших версий ПО (ssh,ftp)
4) Слабые пароли (Для ssh, ftp, mysql).
5) Уязвимости в веб-приложениях (OWASP TOP 10)

Для каждой отдельной уязвимости и для каждого отдельного типа существуют различные утилиты для проверки.
Начать можно с Nmap и продолжить чтением OWASP Web Application Security Guide.

Есть специальные ресурсы, сканеры уязвимостей, которые могут проверить большинство уязвимостей на каждом из уровней.
https://metascan.ru
https: //acunetix.cоm
https: //detectify.cоm

Привет. Судя по твоему рассказу сайт был взломан с помощью похищения cookie администратора через XSS. Для того, чтобы защититься конкретно от кражи cookie нужно было установить атрибут HttpOnly для cookie. Этот флаг запрещает доступ к cookie через Javascript. От других XSS уязвимостей можно защититься с помощью установки заголовка X-XSS-Protection и настройки Content Security Policy. Также можно избавить от самой причины возникновения XSS - отсутствия фильтрации в коде, который вставляет пользовательские данные в тело страницы. Для этого нужно производить сертификацию вставляемых строк. Можешь поискать XSS Filter Evasion Cheat Sheet. И для того, чтобы найти места на сайте уязвимые к XSS и другим уязвимостям рекомендую попробовать сканеры уязвимостей типа https://metascan.ru