Яндекс и 301 редирект не дружат?

Question

[gto6120]

Имею проблему с доменом в яндекс вебмастере. Сервер настроен так:

server {
    server_name www.domain.ru;
    return 301 $scheme://domain.ru$request_uri;
}

server {
    listen       80;
    server_name  domain.ru;
}

Ситуация такая, что яндекс не хочет принимать домен без www как основной, но также не хочет верифицировать через 301 редирект. А мне очень нужно чтобы пользователи видели в адресной строке домен без www так как он и так очень длинный. И Host в robots.txt не решает проблему, если поставить без www, получаю: "В файле robots.txt задана противоречивая директива Host".

Почему не проходит верификация через 301 редирект? Варинат с мета-тэгами не подходит.

Comments

[Алексей]

А рядом нет расшифровки этого противоречия?
http://www.domain.ru/robots.txt и http://domain.ru/robots.txt должны оба содержать Host: domain.ru

[gto6120]

Расшифровка такая: "В директиве Host указан домен, где аналогичные указания в файле robots.txt отсутствуют. Чтобы указания директивы Host были учтены, идентичные директивы должны присутствовать в файлах robots.txt всех зеркал сайта. Проверьте файл robots.txt и устраните противоречия."

www.domain.ru/robots.txt ведет на domain.ru/robots.txt, просто этого не происходит, т.к. яндекс говорит: "слишком много редиректов". Один редирект - слишком много?

Answer 1

[Александр Карабанов]

Сделайте robots.txt доступным без редиректа:

location  ~ ^(/robots.txt|/sitemap.xml|/sitemap_video.xml|/favicon.ico)$ {
           root /var/www/example.com/html;
        }

Comments

[gto6120]

только пробел лишний после location, так nginx ругается.

Answer 2

[gto6120]

Итоговый конфиг, который позволил отдать верификационный файл и robots.txt напрямую без редиректа:

server {
server_name www.domain.ru;

location / {
return 301 $scheme://domain.ru$request_uri;
}

location ~ ^(/robots.txt|/sitemap.xml|/favicon.ico|/yandex_verification_file.html)$ {
root /var/www/user/domain.ru;
allow all;
log_not_found off;
access_log off;
}
}

server {
listen 80;
server_name domain.ru;
root /var/www/nikolay/domain.ru;
index index.html index.htm index.php;

location ~ ^(/robots.txt|/sitemap.xml|/favicon.ico) {
allow all;
log_not_found off;
access_log off;
}

...
}

Answer 3

[firstlena]

Вообще такие вопросы лучше напрямую в поддержку Вебмастера писать.