Странное поведение Nginx. Через раз отдаёт страницу из кеша. Как отключить кэширование этой страницы?

Question

[Suffering007]

Здравтсвуйте. Столкнулся со следующей проблемой. Изменил файл Robots.txt . После того, как вылили на сервер, обнаружилась проблема, что ни яндекс ни гугл не видят изменений. Хотя я, при заходе на страницу, их вижу. После заметил, что при частом обновлении страницы периодически выдаётся то старая версия файла, то новая. Кэши все удалял по этой инструкции:
find /var/cache/nginx/proxy/ -type f -delete.
Не помогло. Добавил в location

proxy_pass_request_body off;
proxy_pass_request_headers off;
proxy_redirect off;

Не помогло. Читал, что нужно добавить "proxy_no_cache" или "proxy_cache_bypass". Но не могу разобраться, как настроить эти команды на конкретную страницу.

Comments

[Lynn «Кофеман»]

Директивы proxy_* никак не влияют на статические файлы.

[Lynn «Кофеман»]

Показывайте все конфиг сервера

[Suffering007]

Алексей Тен:
Извиняюсь, не могу выложить полный конфиг. Выкладываю то, что могу.
server {
server_name mysite.com www.mysite.com *.mysite.com;
listen 80;
listen 443 ssl;
ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
ssl_prefer_server_ciphers on;
ssl_certificate /etc/nginx/cert.d/mysite.com.crt;
ssl_certificate_key /etc/nginx/cert.d/mysite.com.key;
ssl_session_cache shared:SSL:10m;
ssl_session_timeout 10m;
ssl_dhparam /etc/nginx/cert.d/dhparams.pem;

set_real_ip_from myip;
real_ip_header X-Real-Ip;
proxy_set_header X-Real-Ip $remote_addr;
proxy_set_header X-Forwarded-For $http_x_forwarded_for;
proxy_intercept_errors on;

access_log /var/log/nginx/mysite.access.log upstream;

error_page 403 /s/error_page/403.html;
error_page 404 /s/error_page/404.html;
error_page 502 /s/error_page/502.html;

location / {
proxy_pass http://localhost:8888;
proxy_set_header HOST $host;
}
location /robots.txt {
alias /server/betsstore/server/src/static/robots-com.txt;
proxy_pass_request_body off;
proxy_pass_request_headers off;
proxy_redirect off;
proxy_no_cache $uri;
}

location /s/generated_data/sitemap-index.xml {
alias /server/betsstore/server/src/static/generated_data/sitemap-index-mysite.com.xm$
}

[Lynn «Кофеман»]

Suffering007: Ну, как я уже говорил, proxy_* для статических файлов бессмысленны.

На какой файловой системе лежит robots-com.txt?

Answer 1

[Алексей]

Больше похоже что у вас несколько бекендов и на каком-то из них файл не обновился.
Куда ведет proxy_pass?

Comments

[Suffering007]

Да, бэкендов несколько, но для каждого отдельные конфиги и отдельные robots.txt. Работаю с конфигами конкретного бэкенда, с которым проблема. С остальными зеркалами проблем нет

location / {
proxy_pass http://localhost:8888;
proxy_set_header HOST $host;
}

[Алексей]

Suffering007: На сколько я вижу из приведенного вами в коментариях конфига, у вас robots.txt прописан через alias и к прокси вообще отношения не имеет. Посмотреть бы конечно ошибку вживую, возможно у вас и фронтендов несколько? Может быть mysite.com резолвится в несколько IP адресов? Или сайт попадает под несколько разделов server. Так наугад точно не скажешь.

[Suffering007]

Алексей: Извиняюсь. Должен поправиться, Бек и Фронт одни. Проверил сейчас логи. Когда мне браузер открывает старую версию файла, в логах ничего не выводится, а когда открывается новая версия файла - выводится.

[Алексей]

Suffering007: Для начала убедитесь что домену соответствует только один адрес - www.seogadget.ru/ip сюда надо вбить домен, с которого грузится robots.txt с ошибкой. Бывают похожие глюки с файлами на nfs, но если фронтенд один, то вряд ли дело в этом.

[Suffering007]

Алексей: Большое спасибо! Теперь вижу, что 2 ip адреса. Буду разбираться.