Видит ли поисковый робот robot.txt?

Question

[Caspanch]

В корне сайта лежит robot.txt, по запросу "сайт/robot.txt" понятное дело кидается 404 ошибка,вопрос такого характера поисковый робот увидит этот файл или нет?

Comments

[Caspanch]

Артём Петренков: robots.txt, опечатался

Answer 1

[Rsa97]

Сами подумайте, как робот получит этот файл, если сайт его не отдаёт?

Comments

[Caspanch]

то есть по запросу robot.txt просто инклудить этот файл,верно?

[Caspanch]

И некоторые сайт в разработке больше года,файл для роботов просто лежал в корне и ничего не индексировалось,хотя пути до файла robot.txt не было

[Rsa97]

Caspanch: этот файл надо отдавать с mime-типом text/html или text/plain, способ значения не имеет

[Rsa97]

Caspanch: www.seonews.ru/analytics/dmoz-kajdyiy-chetvertyiy-...

[Rsa97]

Caspanch: А эти сайты в гугл вообще попасть могли? На них были ссылки на других сайтах? Или их вручную в индекс добавляли?

[Caspanch]

Rsa97:
if($_GET['route']=='robot.txt') {
header("Content-Type: text/plain");
include("../../storage/robot.txt");
}
Так сработает же и внутри robot.txt
User-agent: *
Disallow: /

[Rsa97]

Caspanch: Такая запись полностью запретит индексацию сайта

Answer 2

[Дмитрий]

нет.