iptables -A INPUT -p tcp --dport 25565 -m conntrack --ctstate RELATED,ESTABLISHED -m limit --limit 3/s -j ACCEPT
iptables -A INPUT -p tcp --dport 25565 -m conntrack --ctstate RELATED,ESTABLISHED -j LOG
Напишите скрипт, который будет смотреть LOG, и банить/разбанивать.