У Гугла много индексов, выполняющих служебные функции. О каком индексе речь?
Если robots.txt попадает в поисковую выдачу - это о каких-то проблемах с форматом, баге самого Гугл или о внешних сигналах, которые заставили Гугл думать, что у файлика есть какая-то самостоятельная ценность. Для примера: файлик благодаря контенту или оформлению получил внешние ссылки и его пошёл изучать народ.
В любом случае - без вспомогательных данных тут только гадать на кофейной гуще.