VestaCP Firewalld за CloudFlare Не блокирует запросы — почему?

Question

[Макс]

Добрый день!

1. Внутри сервера настройка стоит nginx(front)+apache2(back) для доменов.
2. Сайты стоят за Cloudflare.
3. Переключение настроек для домена с nginx или без nginx - ничего не меняет, правила по-прежнему не работают на блокировку.

Если же делаю SUSPEND на правило 0.0.0.0/0 ACCEPT 80,443 (WEB) , то все "ок" - сервер не принимает никаких коннектов :)
Нужно чтобы принимал все, ЗА ИСКЛЮЧЕНИЕМ тех что введены в правилах где стоит DROP.

Пробовал также менять местами правила. Сначала указать ACCEPT правило, а потом все на DROP, и наоборот (так по стандарту в веб-интерфейсе правила добавляются вверх, а в конфиге они идут вниз), но тоже ничего не изменилось.

Если проверяю Netstat, то коннекты вижу только с IP Адресов Cloudflare, хотя в стандартном nginx конфиге вроде как прописано отображение корректного IP.

В самих логах Apache для доменов уже настоящие IP отображаются, то есть Nginx принимает запрос от клауда, и передает в Apache корректный IP. Здесь особенно странно становится что в логах Апача если убрать nginx на фронте при этом отображается корректный IP.

Проблема в том что через веб-интерфейс ввожу правила для блокировки по IP и они не работают. Работают при этом все остальные для других портов mysql / vnc и остальное.

Что можно сделать?

Answer 1

[Макс]

Разобрался по совету Владимир нагуглил оптимальное для себя решение через GEO.
https://nginx.org/ru/docs/http/ngx_http_geo_module.html

В основной nginx конфиг в директиву http пишем :

#Cloudflare CIDR IP BAN
	geo $http_x_forwarded_for $allowed {
    	default allow;
		82.118.227.0/24 deny;
		#any ip or CIDR 
	}
	#/Cloudflare CIDR IP BAN

В конфиг под конкретный домен в директиву server > location / добавляем :

#Блокировка по IP#
		if ( $allowed = "deny" ) { 
			return 403; 
		}

Но данная схема не очень удобна тем что надо под каждый домен добавлять, в моем случае такие изыски не удобны и не нужны. Есть ли схема при которой достаточно было бы изменить только основной nginx.conf в директиве http , не залезая в server ?

Answer 2

[Владимир]

Дело в том что в заголовках http cloudflare вам передает реальный адрес - просто для статистики, и nginx или апач его уже пишут в лог, но фактически все запросы идут от cloudflare и фаерволл видит именно их.
Ваши варианты:
1 - блочить ипы прямо на клаудфларе
2 - если у вас нет https - парсить через iptables -m string --string '1.1.1.1' пакеты с нужными ип и тогда их дропать

Comments

[Макс]

Спасибо!
1. А что значит "для статистики" ? Тогда могли бы их писать в лог, но заблокированным IPшникам отдавать 403, а по логу вижу что никаких проблем нету - везде 200! Да и сам беру прокси, блокирую, проверяю на своих сайтах - все отлично работает!

2. Блочить ипы в клауде нет возможности у меня. Ипов много, сайтов и аккаунтов в клауде - тоже. + там лимиты жесткие (в клауде).

3. Есть Https везде. Есть попроще вариант и стандартным каким-то функционалом?

[Владимир]

я тут погуглил за вас - вам нужно в конфиг nginx чтото такое делать:

map $http_x_forwarded_for $allowed {
default allow;
~\s*111.222.333.444$ deny;
~\s*123.456.789.*$ deny;
}

location / {
if ( $allowed = "deny" ) { return 403; }
alias /path/to/document_root
}

[Макс]

Владимир, спасибо за труд!
Но, есть вопросы.
1. Тогда что не так с Firewall? Вообще нет смысла с ним ничего делать и пытатьс получить результат?
2. У меня больше 100 доменов. Заменить для каждого в принципе можно, не главное. Но каждый раз когда кого-то баню опять разносить на все?
3. Куда в код вносить , после чего?

Типичный конфиг nginx под домен:

server {
    listen      111.69.61.111:80;
    server_name domain.com www.domain.com;
    error_log  /var/log/apache2/domains/domain.com.error.log error;

    location / {
        proxy_pass      http://111.69.61.111:8080;
        location ~* ^.+\.(bmp|ico|svg|tif|tiff|css|js|htm|html|ttf|otf|webp|woff|txt|csv|rtf|doc|docx|xls|xlsx|ppt|pptx|odf|odp|ods|odt|pdf|psd|ai|eot|eps|ps|zip|tar|tgz|gz|rar|bz2|7z|aac|m4a|mp3|mp4|ogg|wav|wma|3gp|avi|flv|m4v|mkv|mov|mpeg|mpg|wmv|exe|iso|dmg|swf)$ {
            root           /home/admin/web/domain.com/public_html;
            access_log     /var/log/apache2/domains/domain.com.log combined;
            access_log     /var/log/apache2/domains/domain.com.bytes bytes;
            expires        max;
            try_files      $uri @fallback;
        }
    }

    location /error/ {
        alias   /home/admin/web/domain.com/document_errors/;
    }

    location @fallback {
        proxy_pass      http://111.69.61.111:8080;
    }

    location ~ /\.ht    {return 404;}
    location ~ /\.svn/  {return 404;}
    location ~ /\.git/  {return 404;}
    location ~ /\.hg/   {return 404;}
    location ~ /\.bzr/  {return 404;}

    include /home/admin/conf/web/nginx.domain.com.conf*;
}

Конфиг /etc/nginx/nginx.conf основной

# Server globals
user                    www-data;
worker_processes        auto;
worker_rlimit_nofile    65535;
error_log               /var/log/nginx/error.log;
pid                     /var/run/nginx.pid;


# Worker config
events {
        worker_connections  1024;
        use                 epoll;
        multi_accept        on;
}


http {
    # Main settings
    sendfile                        on;
    tcp_nopush                      on;
    tcp_nodelay                     on;
    client_header_timeout           60s;
    client_body_timeout             60s;
    client_header_buffer_size       2k;
    client_body_buffer_size         256k;
    client_max_body_size            256m;
    large_client_header_buffers     4 8k;
    send_timeout                    60s;
    keepalive_timeout               15s; # bilo 30s
    reset_timedout_connection       on;
    server_tokens                   off;
    server_name_in_redirect         off;
    server_names_hash_max_size      512;
    server_names_hash_bucket_size   512;


    # Log format
    log_format  main    '$remote_addr - $remote_user [$time_local] $request '
                        '"$status" $body_bytes_sent "$http_referer" '
                        '"$http_user_agent" "$http_x_forwarded_for"';
    log_format  bytes   '$body_bytes_sent';
    #access_log          /var/log/nginx/access.log main;
    access_log off;


    # Mime settings
    include             /etc/nginx/mime.types;
    default_type        application/octet-stream;


    # Compression
    gzip                on;
    gzip_static         on;
    gzip_vary           on;
    gzip_comp_level     6;
    gzip_min_length     1024;
    gzip_buffers        16 8k;
    gzip_types          text/plain text/css text/javascript text/js text/xml application/json application/javascript application/x-javascript application/xml application/xml+rss application/x-font-ttf image/svg+xml font/opentype;
    gzip_proxied        any;
    gzip_disable        "MSIE [1-6]\.";

    # Proxy settings
    proxy_redirect      off;
    proxy_set_header    Host            $host;
    proxy_set_header    X-Real-IP       $remote_addr;
    proxy_set_header    X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_pass_header   Set-Cookie;
    proxy_buffers       32 4k;
    proxy_connect_timeout   30s;
    proxy_send_timeout  90s;
    proxy_read_timeout  90s;

        
    # Cloudflare https://www.cloudflare.com/ips
    set_real_ip_from   103.21.244.0/22;
    set_real_ip_from   103.22.200.0/22;
    set_real_ip_from   103.31.4.0/22;
    set_real_ip_from   104.16.0.0/12;
    set_real_ip_from   108.162.192.0/18;
    set_real_ip_from   131.0.72.0/22;
    set_real_ip_from   141.101.64.0/18;
    set_real_ip_from   162.158.0.0/15;
    set_real_ip_from   172.64.0.0/13;
    set_real_ip_from   173.245.48.0/20;
    set_real_ip_from   188.114.96.0/20;
    set_real_ip_from   190.93.240.0/20;
    set_real_ip_from   197.234.240.0/22;
    set_real_ip_from   198.41.128.0/17;
    #set_real_ip_from   2400:cb00::/32;
    #set_real_ip_from   2606:4700::/32;
    #set_real_ip_from   2803:f800::/32;
    #set_real_ip_from   2405:b500::/32;
    #set_real_ip_from   2405:8100::/32;
    #set_real_ip_from   2c0f:f248::/32;
    #set_real_ip_from   2a06:98c0::/29;
    real_ip_header     CF-Connecting-IP;


    # SSL PCI Compliance
    ssl_session_cache   shared:SSL:10m;
    ssl_protocols       TLSv1 TLSv1.1 TLSv1.2;
    ssl_prefer_server_ciphers on;
    ssl_ciphers        "ECDHE-RSA-AES256-GCM-SHA384:ECDHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384:DHE-RSA-AES128-GCM-SHA256:ECDHE-RSA-AES256-SHA384:ECDHE-RSA-AES128-SHA256:ECDHE-RSA-AES256-SHA:ECDHE-RSA-AES128-SHA:DHE-RSA-AES256-SHA256:DHE-RSA-AES128-SHA256:DHE-RSA-AES256-SHA:DHE-RSA-AES128-SHA:ECDHE-RSA-DES-CBC3-SHA:EDH-RSA-DES-CBC3-SHA:AES256-GCM-SHA384:AES128-GCM-SHA256:AES256-SHA256:AES128-SHA256:AES256-SHA:AES128-SHA:DES-CBC3-SHA:HIGH:!aNULL:!eNULL:!EXPORT:!DES:!MD5:!PSK:!RC4";


    # Error pages
    error_page          403          /error/403.html;
    error_page          404          /error/404.html;
    error_page          502 503 504  /error/50x.html;


    # Cache settings
    proxy_cache_path /var/cache/nginx levels=2 keys_zone=cache:10m inactive=60m max_size=1024m;
    proxy_cache_key "$host$request_uri $cookie_user";
    proxy_temp_path  /var/cache/nginx/temp;
    proxy_ignore_headers Expires Cache-Control;
    proxy_cache_use_stale error timeout invalid_header http_502;
    proxy_cache_valid any 1d;


    # Cache bypass
    map $http_cookie $no_cache {
        default 0;
        ~SESS 1;
        ~wordpress_logged_in 1;
    }


    # File cache settings
    open_file_cache          max=10000 inactive=30s;
    open_file_cache_valid    60s;
    open_file_cache_min_uses 2;
    open_file_cache_errors   off;


    # Wildcard include
    include             /etc/nginx/conf.d/*.conf;
}

[Борис Сёмов]

wtfowned, Банить можно в nginx используя map. Соответственно map хранить в отдельном файле, инклюдить в основной конфиг, и синхронизировать по необходимости, есть 100500 способов, главное nginx перезагружать конфиг не забывать после синхронизации.

Также, у nginx есть https://nginx.org/ru/docs/http/ngx_http_realip_mod...
А у cloudflare есть заголовок с реальным ip клиента без цепочки, и в map можно применять ip и сети, а не регулярные выражения, что куда выгоднее по производительности.

Фаервол видит пакеты приходящие от cloufdlare а не клиента, и с ip cloudflare. Простыми и разумными методами с его помощью вашу проблему не решить.