Как реализовать выдачу определенного robots.txt для всех поддоменов по маске *.mysite.ru?

Question

[Sergey Ch]

Имеется много технических поддоменов на которых необходимо закрыть доступ поисковым системам. Все домены попадают под маску *.mysite.ru
Можно ли всем клиентам, обращающимся к *.mysite.ru/robots.txt выдавать редирект на какой-то заранее заготовленный файл по статическому пути? например, https://mysite.ru/no-robots.txt

Или придется править ручками конфиги для каждого хоста?

Answer 1

[ky0]

Можно сделать конфиг, который будет обрабатывать все поддомены - server_name же поддерживает регулярные выражения. Туда ваш запрещающий robots.txt и добавляйте.

Comments

[Sergey Ch]

Вопрос, допустим я покрою все свои поддомены указав

server_name *.mysite.ru 
location /robots.txt {
        return 301   https://mysite.ru/no-robots.txt
}

Допустим у меня есть конфиг для какого-нибудь хоста server_name
test.mysite.ru

Не возник ли ошибок у nginx при обработке запросов к test.mysite.ru?

[ky0]

Sergey Ch,

При поиске виртуального сервера по имени, если имени соответствует несколько из указанных вариантов, например, одновременно подходят и имя с маской, и регулярное выражение, будет выбран первый подходящий вариант в следующем порядке приоритета:

1. точное имя
   
2. самое длинное имя с маской в начале, например “*.example.org”
   
3. самое длинное имя с маской в конце, например “mail.*”
   
4. первое подходящее регулярное выражение (в порядке следования в конфигурационном файле)
   

https://nginx.org/ru/docs/http/server_names.html

[Sergey Ch]

Спасибо!

[Sergey Ch]

Проверил, работает не совсем так как ожидалось. Сделал конфиг:

server {
        listen       80 ;
        server_name  ~^test.+\.mysite\.ru$;

        location /robots.txt {
                #return 301 http://mysite.ru/no-robots.txt;
                root /usr/share/nginx/html/;
                try_files try_files $uri $uri/   /no-robots.txt;
                #rewrite ^ https://mysite.ru/no-robots.txt redirect;
        }

}

При подключении на домен, без настроенного server_name все отрабатывает ок. Соответственно, если server_name прописан то нам отдается 404 ошибка. Все отрабатывает в порядке приоритета как и написано. Но получается в моем случае это не подходит, потому что при запросе, допустим, на http://test05.mysite.ru/ директива server_name ~^test.+\.mysite\.ru$ отработает позже чем server_name test05.mysite.ru