Узнайте у провайдера характер вредоносного трафика: хосты, порты, протоколы. По нему попробуйте определить сервис, который подвергся атаке. Копать все логи всего бесполезно. Если у вас стоит роутер с внешним IP-адресом, в первую очередь проверьте, не отвечает ли он на DNS запросы извне - наиболее часто используемая дыра.
Ну и пройдите по своему серверу nmap и отключите/закройте все лишнее.