Как правильно кешировать запросы в nginx?

Question

[Iceforest]

задача кешировать запросы до update index, который тоже иногда меняется
запросы вида sandbox6.dev.ru/api/v2/qa/diff/2291314/a49ef19f-60...
2291314 - update index
как правильно написать кеш для nginx, если нужно все запросы с ответом 200 кешировать, а остальные не кешировать,а просто отправлять не бекенд?

server {
    listen              80;
    server_name         sandbox6.dev.ru;

location / {
            return 403 ;
               }
location ~ ^/api/v2/qa/diff/[0-9]+ {
    resolver 10.8.8.81;
    proxy_http_version 1.1;
    client_max_body_size 20m;


    set $cache_key "$1";
    add_header X-Cache-Key "$cache_key";
    expires 2h;
    add_header X-Proxy-Cache $upstream_cache_status;
    proxy_cache $cache_key;
    proxy_cache_valid 200 2h;

    rewrite "^/api/v2/qa/diff/(.*)" /$1 break;
    proxy_pass http://test.qa.ru/api/push/diff/$1?$args;

      }
}

с таким конфигом ничего не кешируется

Answer 1

[dodo512]

http {

proxy_cache_path /tmp/nginx_cache keys_zone=one:10m;

server {
    listen              80;
    server_name         sandbox6.dev.ru;

    location / {
            return 403 ;
    }

    location ~ ^/api/v2/qa/diff/(?<cache_key>[0-9]+) {

        proxy_pass http://test.qa.ru;
        proxy_http_version 1.1;

        rewrite "^/api/v2/qa/diff/(.*)" /api/push/diff/$1 break;
   
        add_header X-Proxy-Cache $upstream_cache_status;

        proxy_cache one;
        proxy_cache_valid 200 2h;
        proxy_cache_key $scheme$proxy_host$cache_key$is_args$args;

    }
}

Comments

[Iceforest]

dodo512 то есть , если стоит expires 2h; то proxy_cache_valid 200 не нужен и должны кешироваться 200, 301 и 302 или нужно proxy_cache_valid 2h и будет и должны кешироваться 200, 301 и 302
просто как-только не пробовал, не кеширует и все

[dodo512]

Iceforest, директива expires 2h это настройка кеширования на стороне браузера клиента, а директива proxy_cache_valid настрока кеширования на стороне сервера Nginx.
Так где вам нужно кеширование? В браузере клиента или на сервере.

[dodo512]

proxy_cache_valid 200;
Тут указано ответы с кодами 200, 301 и 302 хранить 200 секунд.

proxy_cache_valid 200 2h;
Тут указано ответы с кодом 200 хранить 2 часа.

[Iceforest]

dodo512, мне нужно на стороне nginx, но он не кеширует при такой конфигурации

server {
    listen              80;
    server_name         sandbox6.dev.ru;

location / {
            return 403 ;
               }
location ~ ^/api/v2/qa/diff/[0-9]+ {
    resolver 10.8.8.81;
    proxy_http_version 1.1;
    client_max_body_size 20m;

    set $cache_key "$1";
    add_header X-Cache-Key "$cache_key";
   
    add_header X-Proxy-Cache $upstream_cache_status;
    proxy_cache $cache_key;
    proxy_cache_valid 200 2h;

    rewrite "^/api/v2/qa/diff/(.*)" /$1 break;
    proxy_pass http://test.qa.ru/api/push/diff/$1?$args;

      }
}

[dodo512]

set $cache_key "$1";
Iceforest, тут в переменной $1 всегда будет пусто и в $cache_key.
proxy_cache $cache_key;
Если пустую строку передавать в proxy_cache, то работать не будет.
https://nginx.org/ru/docs/http/ngx_http_proxy_modu...
Сначала нужно настроить путь и параметры с помощью proxy_cache_path
Потом имя указанное в keys_zone указать в proxy_cache.

[Iceforest]

dodo512, а он кеширует при таких настройках все, а мне нужно кешировать до индекса
sandbox6.dev.ru/api/v2/qa/diff/2291314/a49ef19f-60...
sandbox6.dev.ru/api/v2/qa/diff/30000000/a49ef19f-60...
2291314 - update index
30000000 - update index
update index может быть разный, поэтому тут сделана регулярка

[dodo512]

Iceforest, теперь понятно нужно из /api/v2/qa/diff/2291314/a49ef19f-60 передавать только /a49ef19f-60 в proxy_cache_key
Там по умолчанию используется

proxy_cache_key $scheme$proxy_host$uri$is_args$args;

Тут вместо $uri нужно поставить свой $cache_key полученный из location с помощью именованного выделения (?<var_name>...)

location ~ ^/api/v2/qa/diff/[0-9]+/(?<cache_key>.+) {
proxy_cache_key $scheme$proxy_host$cache_key$is_args$args;

[Iceforest]

dodo512, уже лучше, но не так

server {
    listen              80;
    server_name          sandbox6.dev.ru;

location / {
            return 403 ;
               }
location ~ ^/api/v2/qa/diff/[0-9]+/(?<cache_key>.+) {
    resolver 10.73.0.41;
    proxy_http_version 1.1;
    client_max_body_size 20m;

    rewrite "^/api/v2/qa/diff/(.*)" /api/push/diff/$1 break;
    proxy_pass http://test.qa.ru;

    add_header X-Proxy-Cache $upstream_cache_status;

    proxy_cache one;
    proxy_cache_valid 200 2h;
    proxy_cache_key $scheme$proxy_host$cache_key$is_args$args;

      }
}

делаю первый запрос

curl -I -X GET sandbox6.dev.ru/api/v2/qa/diff/3450921/a49ef19f-60...

X-Proxy-Cache: MISS

делаю второй запрос

curl -I -X GET sandbox6.dev.ru/api/v2/qa/diff/3450921/a49ef19f-60...

X-Proxy-Cache: HIT

меняю a49ef19f-6044-4439-8316-ff0b315890cb на a49ef19f-6044-4439-8316-ff0b315890cс

последнюю букву и он идет на сервер, хотя должен был взять из кеша

curl -I -X GET sandbox6.dev.ru/api/v2/qa/diff/3450921/a49ef19f-60...

X-Proxy-Cache: MISS

а мне нужно что если изменится 3450921, то кеша нет, а в остальных случаях он должен быть
то есть a49ef19f-6044-4439-8316-ff0b315890cc может постоянно менять и все равно что оно меняется и все равно что меняется дальше

[dodo512]

Iceforest, тогда тут /[0-9]+/(?<cache_key>.+) поменять на /(?<cache_key>[0-9]+)

location ~ ^/api/v2/qa/diff/(?<cache_key>[0-9]+) {

[Iceforest]

dodo512, спасибо, вроде понял как оно образуется