Привет!
Сервер вероятно стал частью ботнета, был заражен.
Вектора заражения могут быть такие:
1) Сетевые сервисы: ssh, ftp, munin, nagios и другие, если их порты доступны из интернет.
2) Уязвимости в CMS и плагинах. Часто ломают через известные баги в Wordpress, Joomla.
3) Уязвимости в коде в веб-приоложения. В том, что сделали разработчики.
fail2ban это хороший инструмент, но когда заражение уже произошло его поздно использовать.
По возможности нужно восстановить сервер из бекапа и разобрать с причиной заражения.
Для этого есть два способа:
1) Аудит зараженной системы, логов, истории bash, проверки контрольных сумм файлов.
2) Поиск "дыры", через которую вредоносный код попал на сервер. Для этого можно воспользоваться сканерами уязвимостей. Такими как
Metascan,
AI-Bolit, WP-scan,
Qualys
Если для тебя проблема актуальна - напиши мне в личку - помогу разобраться.
