Я бы отправил через транслятор iptables->nftables что-то вроде
iptables -A INPUT -p tcp --syn -m connlimit --connlimit-above 3 --connlimit-mask 24 -j DROP
либо с матчем на limit,
iptables -A INPUT -p tcp --syn -m limit --limit 1/s --limit-burst 5 -j ACCEPT
connlimit ограничивает одновременное количество соединений, connlimit-mask говорит подключения из какого CIDR считать в один каунтер, /24 в примере выше,
а limit ограничивает количество открывающехся соединений в единицу времени
