Robots.txt в индексе, это нормально?

Question

[AlexeyFuture]

Такой вопрос, в индексе гугла нашел файл robots.txt, хотел бы понять, насколько это плохо, как он туда попал, и вообще, подробнее узнать про эту ситуацию, первый раз с таким встретился в гугле не нашел инфы по этому поводу

Answer 1

[Дмитрий]

В индексе или поисковой выдаче?

Тут варианты разные могут быть (если речь о выдаче): глюк Гугла, глюк хостинга, неправильная настройка файла. Надо смотреть. Давайте ссылку.

Answer 2

[Виктор Петров]

У Гугла много индексов, выполняющих служебные функции. О каком индексе речь?
Если robots.txt попадает в поисковую выдачу - это о каких-то проблемах с форматом, баге самого Гугл или о внешних сигналах, которые заставили Гугл думать, что у файлика есть какая-то самостоятельная ценность. Для примера: файлик благодаря контенту или оформлению получил внешние ссылки и его пошёл изучать народ.
В любом случае - без вспомогательных данных тут только гадать на кофейной гуще.