Как решить проблему при анализ robots.txt на сайте webmaster.yandex.ru/robots.xml?

Question

[Shohruh Uz]

На webmaster.yandex.ru/robots.xml проверю сайты reg.ru, my.gov.uz без https://. Яндекс показывает ошибку: Файл robots.txt не будет учтён роботом Яндекса, т.к. при запросе выполняется перенаправление.
Но при проверка сайты facebook.com, twitter.com не показывает ошибку.
Значит, facebook.com и twitter.com что-то настроил на сервере чтобы обработать запросы и для http:// и для https://. Но при входа на сайты facebook.com и twitter.com доступ есть только по протоколу https://.
Какой секрет есть ?

Answer 1

[Елена]

Секрет как раз в том что перенаправления нет из-за того что сайты работают по https только.

Comments

[Shohruh Uz]

Указанные сайты: reg.ru, my.gov.uz, facebook.com и twitter.com работает только по протоколу https://. В чем разница ?

[Елена]

Bероятно сделано перенаправление с несуществующих адресов и не используется robots.txt, а используются директивы noindex в коде.

[Shohruh Uz]

Как использовать его ? Если можно, напишите код.

[Елена]

<noindex> ВАШ КОНТЕНТ НА СТРАНИЦЕ </noindex>