Проблема с robots.txt?

Question

[Влад]

Здравствуйте! Ни как понять не могу что не так с файлом robots.txt

Яндекс на него ругается пишет:
В файле robots.txt задана противоречивая директива Host
В директиве Host указан домен, где аналогичные указания в файле robots.txt отсутствуют. Чтобы указания директивы Host были учтены, идентичные директивы должны присутствовать в файлах robots.txt всех зеркал сайта.
Проверьте файл robots.txt и устраните противоречия.

Сам файл robots.txt:

User-Agent: *
Disallow: /login/
Disallow: /registration/
Disallow: /feed/
Disallow: /admin/
Disallow: /stream/
Disallow: /rss
Disallow: /search/$
Disallow: /search/topics/$
Disallow: /search/opensearch/$
Disallow: /my/$
Disallow: /blog/draft/
Disallow: /content/draft/
Disallow: /draft/
Disallow: /comments/
Disallow: /tag/$
Disallow: /talk/
Disallow: /profile/
Disallow: /subscribe/$
Host: https://site.ru
Sitemap: https://site.ru/sitemap.xml

Answer 1

[Андрей Буров]

у вас точно домен site.ru, а не www.site.ru?

Answer 2

[Вася Петров]

В директиве Host указан домен, где аналогичные указания в файле robots.txt отсутствуют

Перевожу с русского на русский: подсунутый боту роботс отличается от того, что достаёте бот с указного в host домена.

Answer 3

[Влад]

Вот в том то и проблема, что тот который указан и есть основной домен!
У меня стоит редирект с http на https + с www на без www = https://site.ru
Так же в ЯВ я указал что сайт без www

Comments

[LandGraf]

Вы решили проблему? У меня аналогичная ситуация, те же самые редиректы.

[Влад]

LandGraf:
Да все решилось, надо ЯВ указать домен https и подождать когда робот еще раз обойдет сайт, и больше он не ругается.

Пока искал решение проблемы, прочитал что бывает еще из-за неправильного редиректа с http на https

Проверка настройки редиректа