Как закрыть от индексации адреса по кусочку URL в NGINX?

Question

[master290988]

В гугл вебмастер постоянно вылезают адреса, которые закрыты в robots txt с формулировкой "Проиндексировано, несмотря на блокировку в файле robots.txt". При этом я не знаю откуда и где гугл их находит. При переходе на сайт по этому УРЛ выдается код 404. Поэтому мета тег роботс здесь не поможет.

Нашел еще один способ закрыть такие страницы, с помощью X-Robots-Tag "noindex". В мануале от гугл - есть инструкция, как закрыть с помощью X-Robots-Tag "noindex".

Там приводится для NGINX следующей код:

location ~* \.pdf$ {
  add_header X-Robots-Tag "noindex, nofollow";
}

В моем же случае, нужно закрыть по куску урл, например по /comment-subscriptions/ или srsrc=f
сами урл выглядит так МойСайт/comment-subscriptions/?srp=4337&srk=657373f2e83cc86f353bb10678e2c33d&sra=s&srsrc=f

Как подставить правильно кусок урл в код, вместо .pdf (как в примере)?

Answer 1

[dodo512]

location /comment-subscriptions/ {
    add_header X-Robots-Tag "noindex, nofollow" always;
}

location ~ \.php$ {
    if ($arg_srsrc = "f") {
        add_header X-Robots-Tag "noindex, nofollow" always;
    }

Comments

[master290988]

А второй вариант что означает?

[dodo512]

master290988, запрос ведь направляется на обработку php-fpm. Вот и условие if добавляется в тот блок, где fastcgi_pass направляет запрос в php-fpm.

доступ к GET-параметрам $arg_имя
nginx.org/ru/docs/http/ngx_http_core_module.html#v...

[master290988]

А, понял. То есть один из этих вариантов можно использовать.

[dodo512]

master290988, да

[master290988]

Поставил первый вариант, сейчас отправлю гугл на переобход по этим страницам. Надеюсь, поможет)

[wisgest]

master290988, не поможет пока адреса закрыты в robots txt.

И при коде ответа сервера 4xx и при запрете индексирования с помощью заголовка HTTP X-Robots-Tag или мета-тега Robots ни в коем случае нельзя одновременно запрещать доступ в robots.txt, так как следуя запрету в robots.txt поисковики просто не узнают об изменении кода ответа сервера или о запрете индексирования (см. справку Google и Bing)!

[sten226]

master290988, ну что, помогло? работает? код правильный?

[sten226]

Ребята, помогите разобраться...
Я в аштиаксес на вп вставил код для закрытия индексации в х-роботс такой код
location /wp-json/ {
add_header X-Robots-Tag "noindex, nofollow" always;
}
И отключил рест апи, ссылки пропали, отлично, но в яндекс вебмастере теперь творится хаос, появились ошибки 404 60 шт. И 29 неподдерживаемый формат.
Но есть и положительное - урлы, запрещенные к индексированию с wp-json уходят, что хорошо. Что мне делать с остальными?

[dodo512]

Я в аштиаксес на вп вставил код для закрытия

sten226, речь про файл .htaccess? Так Nginx не использует эти файлы это настройки только для Apache.
Что используется том на сервере: один Nginx или связка Nginx + Apache или один Apache.
Это обычный виртуальный хостинг где возможно настраивать только через файл .htaccess или это VPS и у вас полный доступ к настройкам Nginx.

[sten226]

dodo512, получается нужно вставить код на сервер Nginx, чтобы работало? А подскажите, Если зайти на хостинг, где это конкретно вставляется?

[sten226]

dodo512, в NGINX.conf ???

[sten226]

dodo512, не могу найти этот NGINX.conf ... помоги пожалуйста тогда правильно написать код в .htaccess для вордпресс, если к примеру я хочу закрыть от индексации тегом x-robots к примеру несколько страниц:
/wp-json/
/test/
Как это правильно будет? Буду благодарен!

[sten226]

dodo512,

[dodo512]

sten226, получается тут только Nginx, а Apache и .htaccess не используются.
Тогда остаётся добавление X-Robots-Tag на стороне PHP. Но я не смогу быстро подсказать, где какие плагины и настройки подкрутить в Wordpress.

А какой там хостер? Может там в панели управления есть возможность переключить на Nginx + Apache.
Тогда если используется Apache 2.4, то в .htaccess можно добавить

Header always set X-Robots-Tag "noindex, nofollow"  "expr=%{THE_REQUEST}=~m#^\S+ /wp-json#"

Если там более старая версия Apache, то можно попробовать так

SetEnvIf Request_URI ^/wp-json NOINDEX=1
Header always set X-Robots-Tag "noindex, nofollow"  env=REDIRECT_NOINDEX

[sten226]

dodo512, спасибо, переключил на апачи и вставил коды! Помогло!