Не уверен, что следующие действия принесут большие плоды:
1. Попробуйте включить возможность лимитировать соединения на Nginx
limit_conn_zone $binary_remote_addr zone=perip:10m;
2. Включите аналогичные действия, но со стороны iptables
-A INPUT-p tcp --dport 80 -m iplimit --iplimit-above 10 -j REJECT
