Просто банить ботов, с помощью fail2ban или CSF или чего угодно, хоть самописный скрипт + iptables.
Параллельно, естественно, не забывая поддерживать состояние защищенности своих сайтов.
Эти воображаемые "хакеры" в большинстве случаев - просто фоновый шум Интернета, толпы разнообразных ботов, сканирующих сети, подбирающих пароли к ssh, ищущие уязвимые сервисы, дефолтные и словарные пароли и т.п. Когда находится уязвимая жертва, чаще всего выполняется автоэксплойт, который подключает зараженный ресурс к армии ботов.
В качестве эксперимента, как уже выше предложили, можно развернуть honeypot на отдельном публичном ip (если есть в запасе), например вот готовый
дистрибутив. Выставить голой задницей его в Интернет и наслаждать алертами honeypot-систем.
А "наказывать" этот фоновый шум, все равно, что высечь море.