Как реализовать выборочное кэширование в NGINX?

Question

[ElevenCalibre]

Приветствую, я не профессионал в администрировании, поэтому ищу помощи здесь, надеюсь добрые люди помогут. Совсем скоро должен быть открыт сайт, куда будет резкий приток пользователей, для обеспечения стабильности я решил использовать NGINX в режиме caching (другие предлагаемые в Vesta cp: default, hosting, http2). Именно в этом режиме при запуске виртуальных пользователей сервер показывает лучшие результаты отклика и не падает.
Но, я столкнулся с проблемой, сайт находится в стадии разработки и доступен только по паролю, но если я включаю кеширование, эта защита обходится, я так понимаю всем пользователям выдает загруженную мной страницу в обход авторизации.

Я бы хотел также исключить директорию администратора от кэширования, вписывая в конфиг:

location /administrator {
add_header Cache-Control no-cache;
expires -1;
}
получаю ошибку старта NGINX Error: nginx failed to start with new config

что я делаю не так? каким образом реализовать выборочное кэширование директорий и запрашивать пользователя вводить авторизационные данные, а не выдавать уже уже готовую страницу игнорируя обход авторизаиции? Исправьте меня пожалуйста, если ошибки в конфиге или иду неправильным путем, готов предоставить дополнительную информацию о сервере или других конфигах, если таковы нужны, спасибо!

CMS Joomla / Php 7.4.15 / CGI-FastCGI / nginx 1.18.0 2cores 4gb ram

настройки nginx

# Server globals
user nginx;
worker_processes 2;
worker_rlimit_nofile 65535;
error_log /var/log/nginx/error.log crit;
pid /var/run/nginx.pid;

# Worker config
events {
worker_connections 1024;
use epoll;
multi_accept on;
}

http {
# Main settings
sendfile on;
tcp_nopush on;
tcp_nodelay on;
client_header_timeout 11;
client_body_timeout 11;
client_header_buffer_size 2k;
client_body_buffer_size 2k;
client_max_body_size 15m;
large_client_header_buffers 8 4k;
send_timeout 4;
keepalive_timeout 11 11;
keepalive_requests 100;
reset_timedout_connection on;
server_tokens off;
server_name_in_redirect off;
server_names_hash_max_size 512;
server_names_hash_bucket_size 512;

# Log format
log_format main '$remote_addr - $remote_user [$time_local] $request '
'"$status" $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
log_format bytes '$body_bytes_sent';
#access_log /var/log/nginx/access.log main;
access_log off;
error_log /var/log/nginx/error.log crit;

# Mime settings
include /etc/nginx/mime.types;
default_type application/octet-stream;

# Compression
gzip on;
gzip_vary on;
gzip_comp_level 4;
gzip_min_length 512;
gzip_buffers 8 64k;
gzip_types text/plain text/css text/javascript text/js text/xml application/json application/javascript application/x-javascript application/xml application/xml+rss application/x-font-ttf image/svg+xml font/opentype;
gzip_proxied any;
gzip_disable "MSIE [1-6]\.";

# Proxy settings
proxy_redirect off;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_pass_header Set-Cookie;
proxy_connect_timeout 30;
proxy_send_timeout 30;
proxy_read_timeout 30;
proxy_buffers 32 4k;

# Cloudflare https://www.cloudflare.com/ips
set_real_ip_from 103.21.244.0/22;
set_real_ip_from 103.22.200.0/22;
set_real_ip_from 103.31.4.0/22;
set_real_ip_from 104.16.0.0/12;
set_real_ip_from 108.162.192.0/18;
set_real_ip_from 131.0.72.0/22;
set_real_ip_from 141.101.64.0/18;
set_real_ip_from 162.158.0.0/15;
set_real_ip_from 172.64.0.0/13;
set_real_ip_from 173.245.48.0/20;
set_real_ip_from 188.114.96.0/20;
set_real_ip_from 190.93.240.0/20;
set_real_ip_from 197.234.240.0/22;
set_real_ip_from 198.41.128.0/17;
#set_real_ip_from 2400:cb00::/32;
#set_real_ip_from 2606:4700::/32;
#set_real_ip_from 2803:f800::/32;
#set_real_ip_from 2405:b500::/32;
#set_real_ip_from 2405:8100::/32;
#set_real_ip_from 2c0f:f248::/32;
#set_real_ip_from 2a06:98c0::/29;
real_ip_header CF-Connecting-IP;

# SSL PCI Compliance
ssl_session_cache shared:SSL:10m;
ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
ssl_prefer_server_ciphers on;
ssl_ciphers "ECDHE-RSA-AES256-GCM-SHA384:ECDHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384:DHE-RSA-AES128-GCM-SHA256:ECDHE-RSA-AES256-SHA384:ECDHE-RSA-AES128-SHA256:ECDHE-RSA-AES256-SHA:ECDHE-RSA-AES128-SHA:DHE-RSA-AES256-SHA256:DHE-RSA-AES128-SHA256:DHE-RSA-AES256-SHA:DHE-RSA-AES128-SHA:ECDHE-RSA-DES-CBC3-SHA:EDH-RSA-DES-CBC3-SHA:AES256-GCM-SHA384:AES128-GCM-SHA256:AES256-SHA256:AES128-SHA256:AES256-SHA:AES128-SHA:DES-CBC3-SHA:HIGH:!aNULL:!eNULL:!EXPORT:!DES:!MD5:!PSK:!RC4";

# Error pages
error_page 403 /error/403.html;
error_page 404 /error/404.html;
error_page 502 503 504 /error/50x.html;

# Cache settings
proxy_cache_path /var/cache/nginx levels=2 keys_zone=cache:10m inactive=60m max_size=1000m;
proxy_cache_key "$request_method|$http_if_modified_since|$http_if_none_match|$host|$request_uri $cookie_user";
proxy_temp_path /var/cache/nginx/temp;
proxy_ignore_headers Expires Cache-Control;
proxy_cache_use_stale error timeout invalid_header http_502;
proxy_cache_valid 200 301 302 304 5m;
proxy_hide_header "Set-Cookie";
proxy_cache_bypass $cookie_session;
proxy_no_cache $cookie_session;



# Cache bypass
map $http_cookie $no_cache {
default 0;
~SESS 1;
~wordpress_logged_in 1;
}

# File cache settings
open_file_cache max=200000 inactive=20s;
open_file_cache_valid 30s;
open_file_cache_min_uses 2;
open_file_cache_errors on;

# Wildcard include
include /etc/nginx/conf.d/*.conf;
}

Comments

[dodo512]

# Wildcard include
include /etc/nginx/conf.d/*.conf;

А что в файлах /etc/nginx/conf.d/*.conf

[ky0]

nginx -t что показывает?

[ElevenCalibre]

vesta.conf содержит линк на файл, который я прикрепил ниже:
include /home/admin/conf/web/sitename.com.nginx.conf;

/home/admin/conf/web/sitename.com.nginx.conf

server {
listen xxx.xx.xxx.xx:80;
server_name sitename.fm www.sitename.com;
error_log /var/log/httpd/domains/sitename.com.error.log error;

location / {
proxy_pass xxx.xx.xxx.xx:8080;
location ~* ^.+\.(jpeg|jpg|png|gif|bmp|ico|svg|tif|tiff|css|js|htm|html|ttf|otf|webp|woff|txt|csv|rtf|doc|docx|xls|xlsx|ppt|pptx|odf|odp|ods|odt|pdf|psd|ai|eot|eps|ps|zip|tar|tgz|gz|rar|bz2|7z|aac|m4a|mp3|mp4|ogg|wav|wma|3gp|avi|flv|m4v|mkv|mov|mpeg|mpg|wmv|exe|iso|dmg|swf)$ {
root /home/admin/web/sitename.com/public_html;
access_log /var/log/httpd/domains/sitename.com.log combined;
access_log /var/log/httpd/domains/sitename.com.bytes bytes;
expires max;
try_files $uri @fallback;
}
}

location /error/ {
alias /home/admin/web/sitename.com/document_errors/;
}

location @fallback {
proxy_pass xxx.xx.xxx.xx:8080;
}

location ~ /\.ht {return 404;}
location ~ /\.svn/ {return 404;}
location ~ /\.git/ {return 404;}
location ~ /\.hg/ {return 404;}
location ~ /\.bzr/ {return 404;}

include /home/admin/conf/web/nginx.sitename.com.conf*;
}

/etc/nginx/conf.d/xxx.xx.xxx.xx.conf

server {
listen xxx.xx.xxx.xx:80 default;
server_name _;
#access_log /var/log/nginx/xxx.xx.xxx.xx.log main;
location / {
proxy_pass xxx.xx.xxx.xx:8080;
}
}


proxy_cache_path /var/cache/nginx/sitename.com levels=2 keys_zone=sitename.com:10m inactive=60m max_size=512m;

status.conf

server {
listen 127.0.0.1:8084 default;
server_name _;
server_name_in_redirect off;
location / {
stub_status on;
access_log off;
}
}

[ElevenCalibre]

ky0,
nginx: the configuration file /etc/nginx/nginx.conf syntax is ok
nginx: configuration file /etc/nginx/nginx.conf test is successful

[ElevenCalibre]

Я открыл два браузера, открыл в них сайт после очистки кэша, оба просят пароль, ввожу пароль в одном, после входа обновляю другой браузер и там просто подгружает страницу обходя авторизацию, это очень неприятный момент...Приходится переключаться в обычный режим (default), но мне действительно нужно кэширование..

[dodo512]

ElevenCalibre, если правильно понял сайт находится в /home/admin/web/sitename.com/public_html

location / {
    proxy_pass xxx.xx.xxx.xx:8080;
    location ~* ^.+\.(jpeg|jpg|png|gif|bmp|ico|svg|tif|tiff|css|js|htm|html|ttf|otf|webp|woff|txt|csv|rtf|doc|docx|xls|xlsx|ppt|pptx|odf|odp|ods|odt|pdf|psd|ai|eot|eps|ps|zip|tar|tgz|gz|rar|bz2|7z|aac|m4a|mp3|mp4|ogg|wav|wma|3gp|avi|flv|m4v|mkv|mov|mpeg|mpg|wmv|exe|iso|dmg|swf)$ {
        root /home/admin/web/sitename.com/public_html;
        access_log /var/log/httpd/domains/sitename.com.log combined;
        access_log /var/log/httpd/domains/sitename.com.bytes bytes;
        expires max;
        try_files $uri @fallback;
    }
}

нужно скопировать этот фрамент и поменять там / на /administrator/ и добавить proxy_cache off;

location /administrator/ {
    proxy_cache off;
    proxy_pass xxx.xx.xxx.xx:8080;
    location ~* ^.+\.(jpeg|jpg|png|gif|bmp|ico|svg|tif|tiff|css|js|htm|html|ttf|otf|webp|woff|txt|csv|rtf|doc|docx|xls|xlsx|ppt|pptx|odf|odp|ods|odt|pdf|psd|ai|eot|eps|ps|zip|tar|tgz|gz|rar|bz2|7z|aac|m4a|mp3|mp4|ogg|wav|wma|3gp|avi|flv|m4v|mkv|mov|mpeg|mpg|wmv|exe|iso|dmg|swf)$ {
        root /home/admin/web/sitename.com/public_html;
        access_log /var/log/httpd/domains/sitename.com.log combined;
        access_log /var/log/httpd/domains/sitename.com.bytes bytes;
        expires max;
        try_files $uri @fallback;
    }
}

[ElevenCalibre]

dodo512, спасибо, я так понимаю добавлять это нужно в файл /etc/nginx/conf.d/xxx.xx.xxx.xx.conf так как локации именно там прописаны для конкретного домена? Это должно решить проблему с кэшированием админ. части, а как быть с второй проблемой, когда выдает страницы в обход авторизации, я так понимаю в другой браузер отдает мои куки? но эти директивы должны были бы запрещать подобное:

proxy_ignore_headers Expires Cache-Control;proxy_hide_header "Set-Cookie";
proxy_cache_bypass $cookie_session;
proxy_no_cache $cookie_session;

# Cache bypass
map $http_cookie $no_cache {
default 0;
~SESS 1;
~wordpress_logged_in 1;
}

[dodo512]

ElevenCalibre, так в файле в файле /etc/nginx/conf.d/xxx.xx.xxx.xx.conf стоит

server {
listen xxx.xx.xxx.xx:80 default;
server_name _;

Это сервер по умолчанию и сюда попадает только то что не совпало с другими.
В файле /home/admin/conf/web/sitename.com.nginx.conf в server_name стоит домен www.sitename.com
Запросы к www.sitename.com попадут именно туда и настраивать нужно там.

У вас там joomla и у неё нет кук wordpress_logged_in или session.
В joomla имя у куки что-то вроде c1095a90cabfb304b8e3637676e86d5a

[ElevenCalibre]

Решил проблему таким путем:
1. Удалил строку с конфига NGINX
proxy_ignore_headers Expires Cache-Control;
это убрало игнорирование данных с заголовков цмс

2. Установил модуль "Server Cache", он в заголовках передает информацию NGINX о том что следует кэшировать, а что запрещено через функции:

From Cache auto-excluded:

Back-end
Logged users
Virtuemart cart
RedShop Cart
eShop Cart (Joomdonation)
J2Store Cart
URL contains word 'cart, checkout, register, login, orders'
POST/PUT/HEAD/DELETE methods (Only in GET cache is activated)
Custom defined components
Custom defined views
Custom defined menus
Custom defined url/words

Спасибо всем, кто был не равнодушен помочь. Оставлю это тут, может еще кому-то поможет.

Answer 1

[exmmth]

Какой у вас трафик ожидается и что у вас внутри?
Из опыта есть сайт на joomla, крутится на обычном хостинге за 2к рублей в год с суточной посещаемостью 40к в сутки, там кеширование не включено joomla даже.
При повышении нагрузки используем родное кеширование джумла, там есть несколько вариантов,
прочитать тут joomla.center/baza-joomla/skorost-zagruzki-joomla/nastrojka-keshirovaniya-v-joomla
Если и этого мало, то в чате joomla спросить @jwebru он на конфигурировании серверов для joomla собак съел больше, чем корейцы.