Почему не всегда работает deny в nginx?

Question

[EvilDev]

Пытаюсь заблокировать датацентры с которых поступают левые запросы на сайт, но почему то nginx бывает пропускает ip адреса. Например:
IP 64.225.1.172 DigitalOcean
В конфигурации прописал

server {
include /etc/nginx/snippets/deny-ds.conf;
...
location / {
...
}

include /etc/nginx/snippets/deny-ds.conf;
...
deny 64.225.0.0/20;
...

Большинство блокирует, но не всё.
Так же и cloudflare пропускает на сайт тот же Китай, хотя в правилах прописал, что все кроме России заблокированы.
Как в такой ситуации блокировать неугодных?

Comments

[Lynn «Кофеман»]

Какие ваши доказательства?

Ну и весь остальной конфиг в студию.

[EvilDev]

Lynn «Кофеман», в логих вижу, что бывает пролетает
64.225.1.172 - - GET /nice%20ports%2C/Tri%6Eity.txt%2ebak HTTP/1.0
Хотя DO я вообще весь заблокировал.

server {
    server_name         site.ru;
    listen              443 ssl;
    root                /var/www/web;
    index               index.php;

    include /etc/nginx/snippets/bots.conf;
    include /etc/nginx/snippets/deny-ips.conf;
    include /etc/nginx/snippets/deny-ds.conf;
    include /etc/nginx/snippets/ssl-selfsigned.conf;
    include /etc/nginx/snippets/php-fpm.conf;
    include /etc/nginx/snippets/gzip.conf;
    
    access_log        /var/log/nginx/access.ru.log;
    error_log         /var/log/nginx/error.log error;

    proxy_buffering      off;
    proxy_buffers        16 16k;
    proxy_buffer_size    32k;
    fastcgi_buffer_size  32k;
    fastcgi_buffers      16 12k;

    location / {
        if ($host !~ ^(site.ru)$ ) {
            return 444;
        }

        if (!-e $request_filename) {
            rewrite ^(.*)$ /index.php last;
        }
    }

    location  /user/ {
        return 404;
    }
    
    if ($http_user_agent ~* LWP::Simple|BBBike|wget) {
        return 403;
    }
    
    location ~* (\.inc\.php|\.tpl|\.ht|\.tpl\.php|\.auto\.php)$ {
        deny all;
    }
}

[Lynn «Кофеман»]

Ну так deny не «отменяет» запрос, а просто говорит nginx-у что на запросы с этого ip нужно ответить ошибкой 403 и не пытаться обрабатывать дальше. В логах запрос конечно останется.

[EvilDev]

Lynn «Кофеман», он отдает код 400, в некоторых случаях 200, хотя датацентр заблокирован.

[Lynn «Кофеман»]

Ну показывайте все остальные сниппеты

[EvilDev]

Lynn «Кофеман»,

cloudflare

set_real_ip_from 103.21.244.0/22;
set_real_ip_from 103.22.200.0/22;
set_real_ip_from 103.31.4.0/22;
set_real_ip_from 104.16.0.0/12;
set_real_ip_from 108.162.192.0/18;
set_real_ip_from 131.0.72.0/22;
set_real_ip_from 141.101.64.0/18;
set_real_ip_from 162.158.0.0/15;
set_real_ip_from 172.64.0.0/13;
set_real_ip_from 173.245.48.0/20;
set_real_ip_from 188.114.96.0/20;
set_real_ip_from 190.93.240.0/20;
set_real_ip_from 197.234.240.0/22;
set_real_ip_from 198.41.128.0/17;
set_real_ip_from 2400:cb00::/32;
set_real_ip_from 2606:4700::/32;
set_real_ip_from 2803:f800::/32;
set_real_ip_from 2405:b500::/32;
set_real_ip_from 2405:8100::/32;
set_real_ip_from 2c0f:f248::/32;
set_real_ip_from 2a06:98c0::/29;

real_ip_header CF-Connecting-IP;

bots

if ($http_user_agent ~* Dataprovider|babbar.tech|msnbot|scrapbot|SemrushBot|MJ12bot|AhrefsBot|bingbot|DotBot|LinkpadBot|SputnikBot|statdom.ru|MegaIndex.ru|WebDataStats|Jooblebot|Baiduspider|BackupLand|NetcraftSurveyAgent|openstat.ru|Ahrefs|SputnikBot|spbot|DigExt|Sogou|MJ12|majestic12|80legs|SISTRIX|Semrush|Crowsnest|CCBot|TalkTalk|PaperLiBot|peerindex|ia_archiver|Slurp|Aport|NING|JS-Kit|rogerbot|BLEXBot|MJ12bot|Twiceler|Baiduspider|Java|CommentReader|Yeti|discobot|BTWebClient|Tagoobot|Ezooms|igdeSpyder|AhrefsBot|Teleport|Offline|DISCo|netvampire|Copier|HTTrack|WebCopier|WebCollector) {
	return 444;
}

gzip

gzip on;
gzip_comp_level 8;
gzip_disable "msie6";
gzip_types text/plain text/css application/json application/x-javascript text/xml application/xml application/xml+rss text/javascript application/javascript;

php-fpm

location ~ \.php$ {
    fastcgi_split_path_info ^(.+\.php)(/.+)$;
    # NOTE: You should have "cgi.fix_pathinfo = 0;" in php.ini

    fastcgi_param  SCRIPT_FILENAME  $document_root$fastcgi_script_name;
    include        fastcgi_params;

    include snippets/fastcgi-php.conf;
    fastcgi_pass unix:/run/php/php8.0-fpm.sock;
}

ssl

ssl_certificate /var/ssl/certs/nginx-selfsigned.crt;
ssl_certificate_key /var/ssl/private/nginx-selfsigned.key;

ssl_dhparam /var/ssl/certs/dhparam.pem;

[EvilDev]

Lynn «Кофеман», вот такие вот еще предупреждения есть

nginx: [warn] low address bits of 138.68.249.0/22 are meaningless in /etc/nginx/snippets/deny-ds.conf:262
nginx: [warn] low address bits of 83.171.241.0/22 are meaningless in /etc/nginx/snippets/deny-ds.conf:12813

Но их мало и они не относятся к ип которые прошли.

[Дмитрий]

Просто мысля вслух - если это банальная блокировка по списку IP может проще не взваливать это на веб-сервер, а выполнять уровнем раньше - с помощью того-же iptables / ipset ?

[FanatPHP]

EvilDev, а статус ответа в логи не пишется?
какой-то вопрос путаный
нельзя было сразу нормально задать - с нормальными логами, чтобы люди вокруг ТОЖЕ видели, что пропускает
а не занимались гаданием на основании ваших путаных пересказов?

[AlexVWill]

Нет ничего глупее чем блокировка целрой подсети. Даже идиоты от яндекса и авто от этого почти отказались. Если нужна защита от dross, то есть специальные методы, а не это дилетантство.

[EvilDev]

AlexVWill, Например?
Дмитрий, Да, уже думал об этом, но почему cloudflare со своим waf пропускает то, что должно быть заблокировано, тоже не понятно.
FanatPHP, да, возможно я не развернуто задал вопрос. Например подобные запросы.
64.225.1.172 - - [--/---/----:--:--:-- +0000] \x00\x00\x07\x00\x08\x00\x03\x00\x04\x00\x05\x00\x06 400 150 - -
64.225.1.172 - - [--/---/----:--:--:-- +0000] GET /nice%20ports%2C/Tri%6Eity.txt%2ebak HTTP/1.0 403 146 - -

[EvilDev]

FanatPHP, 45.33.65.249 - - [--/---/----:--:--:-- +0000] GET /__Additional HTTP/1.1 400 248 - curl/7.54.0
45.33.65.249 - - [--/---/----:--:--:-- +0000] GET /?=PHPB8B5F2A0-3C92-11d3-A3A9-4C7B08C10000 HTTP/1.1 444 0 - curl/7.54.0

[AlexVWill]

Например?

Смотря какая задача, у тебя же это не указано, просто написано что хочу дескать не пускать какую то подсеть, что как я и сказал является ошибкой...
Из простых методов например Fail2Ban, если например кто-то ломится в твою учетку на сайте, то программа блокирует КОНКРЕТНЫЙ IP например на 30 минут. Настраивается в зависимости от того, что прилетает в логи web-сервера.
А не вот это все вот это...

[FanatPHP]

EvilDev, я не вижу здесь 200 ответов.

[EvilDev]

FanatPHP, не могу найти, подожду пока появятся. Но 400 - этого же не должно быть, а должно быть 444 или 403?
AlexVWill, да, возможно вы правы, но как например показать 403 страницу что доступ ограничен как например на том же ситилинке сделано. Ведь fail2ban полностью отрубит от сервера. А я могу где то минимум накосячить и заблокировать то, что блокировать не надо. Задача состоит в том, чтобы отрубить ботов что накручивают негативные ПФ, а так же под тип ботов что пытаются проникнуть на сервер /?=PHPB8B5F2A0-3C92-11d3-A3A9-4C7B08C10000. По этому я блокирую дата-центры и страны т.к. оттуда полезного траффика быть не может.

[AlexVWill]

Ведь fail2ban полностью отрубит от сервера. А я могу где то минимум накосячить и заблокировать то, что блокировать не надо.

Ну отрубит на 30 минут, беда что ли?
А блокировка дата центров - это очень плохо, т.к. на нем могут сидеть реальные живые люди за VPN, могут работать целые VPN сети (не надо объяснить почему не все на них боты?) из разных стран, могут работать полезные боты из тех что собирают аналитику и поисковые машины, и пр. и пр. Поэтому и надо блокировать лишь те IP, которые выполняют действительно вредоносные действия (не например пытаются зайти 10 раз подряд с разным паролем, или посылают 10 раз подряд неверный POSTзапрос или что-то вроде того.
Кстати, всегда можно указать белые IP, которые не будут заблокированы никогда, используемые для целей тестирования к примеру.

[Lynn «Кофеман»]

EvilDev, 400 запросто может быть если запрос настолько невалидный, что nginx просто не смог его разобрать.

Answer 1

[ky0]

Вангую, что где-то стоит return, которому на deny начхать.