День добрый!
OS Ubuntu 18.04.
Бот обходит добрую сотню моих доменов которые содержат тысячи страниц, обходит очень агрессивно и создает сильную нагрузку на сервер, до 10 запросов/сек выкачивая в том числе и картинки.
Обычно после анализа логов сразу баню подобных, через WEB интерфейс к панели VestaCP, добавляя правило в Firewall, все очень просто - подсеть, 80,443 порты = готово, запросов после этого не наблюдается.
Сейчас никак не могу забанить назойливого бота, грепаю логи после добавления правил - запросы как шли так и идут. Уже даже добавил UDP / ICMP , все равно запросы идут. Что не так может быть?
root@159# iptables-save
# Generated by iptables-save v1.6.1 on Sat Sep 29 00:11:25 2018
*filter
:INPUT DROP [0:0]
:FORWARD ACCEPT [0:0]
:OUTPUT ACCEPT [348480:815452129]
:fail2ban-DNS - [0:0]
:fail2ban-FTP - [0:0]
:fail2ban-SSH - [0:0]
:fail2ban-VESTA - [0:0]
:fail2ban-WEB - [0:0]
:vesta - [0:0]
-A INPUT -p udp -m udp --dport 53 -j fail2ban-DNS
-A INPUT -p tcp -m multiport --dports 80,443 -j fail2ban-WEB
-A INPUT -p tcp -m tcp --dport 8083 -j fail2ban-VESTA
-A INPUT -p tcp -m tcp --dport 21 -j fail2ban-FTP
-A INPUT -p tcp -m tcp --dport 22 -j fail2ban-SSH
-A INPUT -m state --state RELATED,ESTABLISHED -j ACCEPT
-A INPUT -s SERVER_IP/32 -j ACCEPT
-A INPUT -s 127.0.0.1/32 -j ACCEPT
-A INPUT -s 216.244.66.0/24 -p tcp -m multiport --dports 80,443 -j DROP
--- /// ---- Аналогичные правила --- /// ----
-A INPUT -p tcp -m multiport --dports 80,443 -j ACCEPT
-A INPUT -p tcp -m multiport --dports 21,12000:12100 -j ACCEPT
-A INPUT -p udp -m udp --dport 53 -j ACCEPT
-A INPUT -p tcp -m tcp --dport 53 -j ACCEPT
-A INPUT -s 127.0.0.1/32 -p tcp -m multiport --dports 25,465,587,2525 -j ACCEPT
-A INPUT -s 127.0.0.1/32 -p tcp -m multiport --dports 110,995 -j ACCEPT
-A INPUT -s 127.0.0.1/32 -p tcp -m multiport --dports 143,993 -j ACCEPT
-A INPUT -s 127.0.0.1/32 -p tcp -m multiport --dports 3306,5432 -j ACCEPT
-A INPUT -p icmp -j ACCEPT
-A fail2ban-DNS -s 216.244.66.0/24 -j REJECT --reject-with icmp-port-unreachable
-A fail2ban-DNS -j RETURN
-A fail2ban-FTP -j RETURN
-A fail2ban-SSH -j RETURN
-A fail2ban-VESTA -j RETURN
-A fail2ban-WEB -s 216.244.66.0/24 -j REJECT --reject-with icmp-port-unreachable
-A fail2ban-WEB -j RETURN
COMMIT
# Completed on Sat Sep 29 00:11:25 2018
Запросы за несколько часов:
root@159# awk '{print $1}' /var/log/apache2/domains/*.log | sort | uniq -c | sort -nr | head -n 50 | grep 216.244
17755 216.244.66.230
15969 216.244.66.236
11103 216.244.66.202
10769 216.244.66.196
8574 216.244.66.200
8076 216.244.66.239
Средний
Простой
