fail2ban собственно настройте, он будет анализировать логи и отправлять вам на мыло whois по ip адресу который добавил, ну и разумеется будет в iptables добавлять правило о блокировке, если это не нужно а нужно как можно проще, то можно на коленке сделать скриптик с логикой:
$log=tail -f /var/log/messages | grep failed to authenticate
if true sendmail -t lala@lala.com $log
Собственно проверять построчно, при появлении строки отправлять её, чистим переменную и смотрим дальше.