Кэширование динамического контента на NGINX, как сконфигурировать?

Question

[tvbird]

Здравствуйте, подскажите пожалуйста как решить и возможно ли оптимизировать данную ситуацию.

Есть Backend на фреймвоке, с приложения на него каждые 35 секунд идет GET запрос по адресам:

backend/api/getstat/357
backend/api/getstat/25
backend/api/getstat/454
...

Сам бэкэнд выполняет тяжелый запрос и кэширует его ответ в Redis на 1 минуту.
Самих же запросов по таймеру приложения может быть около 100-10000 с разных IP.
Сам Get запрос кэшируется на Backend что помогает разгрузить немного сервер, но он в любом случае доходит до Фреймврка, а тот вынужден использовать ресурсы чтобы отдать кэшированный ответ.

Собственно вопрос, возможно ли как-то настроить NGINX, что-бы он кэшировал этот динамический запрос на 1 минуту и отдавал ответ без backend'а. Вариант с увеличением времени опроса не подходит :(

Comments

[tvbird]

Забыл уточнить, что если это возможно, то что именно написать в настройках nginx для таких запросов. Последний параметр ID
backend/api/getstat/25

Answer 1

[Andrey Shatokhin]

Конечно. Используйте proxy_cache/fastcgi_cache смотря как вы с бекендом работаете в nginx

Comments

[tvbird]

На сервере стоит isp manager. Backend на php + nginx.
Андрей подскажите, как примерно должна выглядеть настройка, что-бы случайно не закэшировать другие get запросы.

backend/api/getstat/357

Последние цифры это ID, соответственно они меняются. Моих знаний в nginx к сожалению не хватает сделать это самостоятельно :(

[Andrey Shatokhin]

где-то в секции http создайте кеш таким кодом

#кеш будет в /tmp/getstat
fastcgi_cache_path   /tmp/getstat levels=1:2 keys_zone=getstat:8m inactive=1m max_size=1G;
fastcgi_temp_path    /tmp/getstat

потом уже в настройках своего server найдите запись типа location / и рядом создайте такую

location /backend/api/getstat {
	#это настройки кеша
	fastcgi_cache getstat;
	fastcgi_cache_key "$request_uri";
	fastcgi_cache_min_uses 1;
	fastcgi_cache_valid 200 30m;
	fastcgi_cache_methods GET


	#тут нужно все скопировать из location /. Примерно так:
	fastcgi_pass   php7;	
	include fastcgi_params;
}

[tvbird]

Андрей, Спасибо огромное! Попробую

[tvbird]

Андрей, Андрей, если Вам не сложно, подскажите, а если кэш находится по адресу:
backend/api/357/getstat/

357 - это ID (который меняется), то как возможно задать строку в nginx

location /backend/api/getstat  {
.....
}

[Andrey Shatokhin]

регулярочку там тогда надо:

location ~ ^/backend/api/[0-9]/getstat$  {
.....
}

[tvbird]

Андрей, Спасибо огромное!

[tvbird]

Андрей, Все перепробовал, но кэш отказывается работать на определенный url, только на весь бэкэнд.
Если возможно, подскажите.
Так кэш работает но на весь бэкэнд целиком

server {

  location / {
      try_files $uri $uri/ /index.php?$query_string;
  }
   
  location ~ \.php$ {
    try_files $uri =404;
    include		nginx.fastcgi.conf;
    include		nginx.redis.conf;
    fastcgi_split_path_info ^(.+\.php)(/.+)$;
    fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
    fastcgi_pass	php_farm;

    # Кеш
    fastcgi_cache getstat;
    fastcgi_cache_valid 200 301 1m;
  }

}

Так кэш не работает совсем и хидер не добавляется

server {

  location ~ ^/backend/api/[0-9]/getstat$ {
    add_header X-TEST "istest";

    # Кеш
    fastcgi_cache getstat;
    fastcgi_cache_valid 200 1m;

    try_files $uri $uri/ /index.php?$query_string;
  }

  location / {
      try_files $uri $uri/ /index.php?$query_string;
  }
   
  location ~ \.php$ {
    try_files $uri =404;
    include		nginx.fastcgi.conf;
    include		nginx.redis.conf;
    fastcgi_split_path_info ^(.+\.php)(/.+)$;
    fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
    fastcgi_pass	php_farm;
  }

}

Если перенести все из локейшена ~ \.php$, то выдает nginx 404.
Сам локейшен отрабатывает. Для теста попробовал:

location ~ ^/backend/api/[0-9]/getstat$ {
    return 401;
  }

Получается что fast-cgi кеш отрабатывает только в секции location ~ \.php$ {} где либо в другом он игнорирует.

[Andrey Shatokhin]

так вы не ложите try_files в локейшен с регекспем. Там нужны все директивы fastcgi_*, а не перенаправление на другой локейшен.

[tvbird]

Андрей, Так к сожалению перестает отрабатывать Laravel

location ~ ^/backend/api/[0-9]/getstat$ {
    add_header X-TEST "istest";

    # Кеш
    fastcgi_cache getstat;
    fastcgi_cache_valid 200 301 1m;
    fastcgi_cache_valid 401 404 3m;

    fastcgi_split_path_info ^(.+\.php)(/.+)$;
    fastcgi_pass	php_farm;
    fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
    include		nginx.fastcgi.conf;
    include		nginx.redis.conf;
}

Выдает 404 ошибку с: No input file specified.

Т.е. без строки фреймворк не отрабатывает
try_files $uri $uri/ /index.php?$query_string;

[Andrey Shatokhin]

ну да, логично. $query_string же потеряли.

Я бы оставил всю конфигурацию с fastcgi на отдельном server сегменте. с биндом на 127.1:8080. А перед ним поставил бы малую с конфигу c proxy_pass|proxy_cache смотрящим на 127.1:8080.

[tvbird]

Андрей, $query_string описан в nginx.fastcgi.conf и инклюдится из него. Попробовал ради эксперимента добавить fastcgi_param QUERY_STRING $query_string; в location ~ ^/backend/api/[0-9]/getstat$, но ситуацию это не поменяло :(

Получается что не добавив try_files в локейшен location ~ ^/backend/api/[0-9]/getstat$, он не отработает ни в каких обстоятельствах? :( А если добавить то не отработает кэш.

Например сама строка отрабатывает на 100%

location / {
      try_files $uri $uri/ /index.php?$query_string;
  }

[Andrey Shatokhin]

tvbird, у вас он описан видимо как
fastcgi_param QUERY_STRING $query_string;

А без try_files вам нужно что-то типа

fastcgi_param QUERY_STRING    index.php?$query_string;

Но это не лучшее решение. Его нужно в роутере ларавел проверять. И лишнее дублирование директив с разными значениями.

[tvbird]

Андрей, Даже с index.php?$query_string; он выдает No input file specified.
Получается что закешировать определенную страницу или путь почти не реально :\

[Andrey Shatokhin]

tvbird, реально))
Описывал же. Две разные секции server.
Рассматривайте это как балансировщик с кешированием и сам бекенд с правилами для вашего фреймворка.

[tvbird]

Андрей, у Вас случайно примера не завалялось? т.к. технически я понимаю что такое балансировщик нагрузки, но создать такое в конфиге nginx ума не хватает :(

[tvbird]

Андрей, Благодарю за содействие, проблему решил с помощью fastcgi_cache_bypass и переменной