Что делать если кешируется robots.txt на cms Wordpress?

Question

[Greg Plitt]

Уже не первый раз мне попадают сайты, на которых как не обновляй исходный файл robots.txt он всё равно отображается без правок. Но если открыть как robots.txt?nocache, то вижу нужный мне файл.
Кэш пытался чистить на стороне WP всеми плагинами, что находил, нет ничего, чтобы точно помогало.
Как быть в этой ситуации? Что нужно сделать, чтобы robots.txt отображался сразу после внесения правок в него?

Comments

[approximate solution]

Robots.txt создан руками, или генерируется плагином?

[Greg Plitt]

approximate solution, создан руками. Но в плагины которые могут его генерировать, я тоже этот текст уже засовывал. Не знаю, тот вариант который отображается без ?nocache не был не в одном из плагинов, но при удаление robots.txt с сервера он всё равно отображается.
Не знаю какой плагин его выводит получается. Там то всего пару строк, он как пустой

[approximate solution]

Сами плагины которые занимаются кэшированием типо WP Fastest Cache, отключали? Открывали сайт url\robots.txt в в приватной вкладке?

[Greg Plitt]

approximate solution, сейчас другой человек проверил (с другого города), у него одинаковое содержимое, что с ?nocache, что без него. Он видит обновленный файл. Получается, что-то кешируется лично для меня?.. Может быть из-за cloudflare?

[approximate solution]

Greg Plitt, Откройте полный путь в приватной вкладке, если там будет новый robots.txt, тогда удалите куки браузера.

[Greg Plitt]

approximate solution, это я пробовал, сейчас и в приватной и в другом браузере попробовал. Всё равно старое значение. Может через .htaccess кеш как-то настроен так?

[Greg Plitt]

approximate solution, проверил через различные сервисы по скриншоту сайта, там везде новый вариант :) Сервер как-то меня запомнил просто.

[Greg Plitt]

approximate solution, как и думал, сейчас включил австрийский vpn, обновил страницу в браузере и сразу увидел обновленный файл. Просто у меня уже не первый раз такое и всегда проблема именно в robots.txt.
Что может быть? Как оно так кеширует на меня?

[approximate solution]

Greg Plitt, Скорее всего кэшируется у вас, значит не заморачивайтесь

Answer 1

[Денис Бушаев]

win+R -> cmd -> curl domain.com/robots.txt
Смотрите контент. Если закэширован даже там, то смотрите сначала плагины кеширующие, если их нету - то политики кеширования nginx.

Answer 2

[Мария Стасюк]

у меня та же проблема
получилось так: при первом обновлении роботса получилось нормально его обновить через скидывание кеша и для Гугла через инструмент
https://www.google.com/webmasters/tools/robots-tes... (кнопка Submit), а дальше просто не хочет работать, не обновляет. Делала обновление роботса по инструкции https://aboutseo.blog/ru/articles/page-is-not-usab..., и просто из-за кеша не могу понять результат.