Какие-то жидкие вам ответы дали. Вредоносы не используют какие-то специфичные протоколы, они пользуются всем тем же, что доступно и легитимному ПО, за исключением тех зверей, которые используют обмен данными на базе протоколов OSCAR, IRC и проч.
Самый логичный ход -- использовать системы обнаружения атак. Snort, Suricata, Bro. Snort, например, уже старичок, сообщество огромное + долго и упорно развивается = легко использовать, легко настраивать, куча мануалов и гайдов. Большой плюс Snort - огромная база правил для обнаружения в трафике вредоносных пакетов, правила есть свободнораспространяемые, есть коммерческие, которые надо покупать, но в большинстве случаев, если вы не охраняете гостайну, то хватит и тех, что публикуются в открытом доступе (их надо своевременно обновлять). Для подробностей гуглить IDS или IPS и читать.
Поскольку системы обнаружения работают на правилах, то у них имеется недсотаток - если правило не написано для чего-то конкретного, то это нечто проплывет мимо СОА. Поэтому имеет смысл периодически посматривать через анализаторы трафика, что там происходит в сети. Есть такое понятие как IOC (indicator of compromise), на их основе можно самому генерировать правила для систем обнаружения, эти индикаторы публикуются в открытом доступе на множестве ресурсов, например
https://www.threatminer.org/. Отлавливаете трафик - проверяете на вхождение в него IOC, генерите соответствующее правило.
Сложный
