так для всего трафика на порт
iptables -A INPUT -p udp --dport 8911 -m limit --limit 500/sec --limit-burst 500 -j ACCEPT
iptables -A INPUT -p udp --dport 8911 -j DROP
можно ещё так с учетом одного источника, т.к. не больше 500/sec с одного IP
iptables -A INPUT -p udp --dport 8911 -m hashlimit --hashlimit-name toster --hashlimit-upto 500/sec --hashlimit-mode srcip --hashlimit-srcmask 32 -j ACCEPT
iptables -A INPUT -p udp --dport 8911 -j DROP
hashlimit-srcmask - CIDR насколько большую сеть фильтруем (32 - один IP, 24 - подсеть из 256 и тд.)