Файл роботов это пожелание.
Это ваше пожелание, которое приличные поисковые системы выполняют.
Добровольно выполняют.
Но этот файл ни к чему их не принуждает и никак не ограничивает.
Если они пожелают, то смогут и проигнорировать содержимое этого файла, хотя это дурной тон.
ВГету естественно все равно на это правило. ВГет выполняет вашу команду. Что ему указал человек, то он и выполнил.