Как закрыть доступ к файлу robots.txt не роботам?

Question

[Ibishka]

Как закрыть доступ к файлу robots.txt не роботам?

Comments

[Ibishka]

wisgest, я не хочу чтоб другие смогли просмотреть файл по url поэтому хочу им закрыть доступ к просмотру этого файла

[SagePtr]

Ibishka, но в чём тогда смысл от файла, если поисковики не смогут его посмотреть? Или вы хотите закрыть этот файл для всех кроме поисковиков?

[Ibishka]

SagePtr,

Или вы хотите закрыть этот файл для всех кроме поисковиков?

Да

[AUser0]

Вы не сможете закрыть этот файл от всех, кроме поисковиков. Имеет смысл или закрыть от всех (проще - просто стереть), или дать доступ всем. А только для поисковиков - бесполезно, не сработает.

И ещё, этот файл объясняет поисковикам, по каким адресам на сайте "лезть" не стоит. Закрыв доступ к нему, вы эти адреса не защитите и не спрячете, они всё равно останутся. Поэтому ограничивать доступ к robots.txt - бессмысленно.

[SagePtr]

Ibishka, как вы планируете различать между собой поисковики и обычных пользователей?
А если хотите закрыть какие-то данные от ботов, сделайте эти данные доступными только после авторизации, заодно спасёте их не только от ботов, но и от пользователей, которым они не предназначены.

Answer 1

[wisgest]

Роботов, принимающих в расчёт robots.txt не мало и появляются новые. Как вы им хотя бы дадите понять, что им доступ запрещён? Просто не следует помещать в robots.txt ссылки на секретные разделы сайта, — если на них нет входящих ссылок, то порядочные роботы туда не полезут и без robots.txt.

Можно попробовать по User-Agent, но его легко подделать:

# User-Agent большинства роботов содержит токен, заканчивающийся на "bot"
RewriteCond %{HTTP_USER_AGENT} !bot\b [NC]
# Дополнительно перечисляем характерные участки User-Agent, не удовлетворяющих предыдущему условию
# (список можно продолжить...)
RewriteCond %{HTTP_USER_AGENT} !\b(yahoo\.com|baidu\.com)/
## или так
#RewriteCond %{HTTP_USER_AGENT} !\b(Slurp|Baiduspider)\b
RewriteRule ^robots\.txt$ - [R=404]