Linux:
Считаете средни траффик от обычного пользователя, пакеты в минуту. Добавив хороший запас, ограничиваете в iptables число пакетов в секунду на один ip-адрес.
В дополнение, если игровой сервер логирует ошибки при получении флуд-пакетов, можно добавить мониторинг лога через fail2ban, отправляя в бан те ip-адреса, которые вызывают множество подобных ошибок