@thewizardplusplus

Нужно ли указывать админку в robots.txt?

Насколько мне известно, поисковые системы индексируют сайт, переходя либо по внутренним ссылкам на нём, либо по внешним ссылкам на него. Таким образом, так как ссылка на админку как правило нигде не указывается, поисковый бот не сможет её найти, и, соответственно, не будет индексировать. Верно? Или я ошибаюсь?

Просто пытаюсь составить robots.txt для небольшого блога и не знаю, что там указывать. Ибо, по идее, всё, что сможет найти поисковый бот, и должно быть проиндексированно (посты, теги, картинки). А что не должно, по идее, и не будет найдено, так как нигде на это нет ссылок, ни внешних, ни внутренних.

Так нужно ли указывать адрес админки в robots.txt или в этом нет смысла?
  • Вопрос задан
  • 453 просмотра
Решения вопроса 2
27cm
@27cm
TODO: Написать статус
Представьте такой сценарий: в сеть случайно утекает ссылка на внутреннюю страницу админки сайта (в современном мире есть миллионы способов, чтобы это произошло). И вот ПС уже знают URL. Вдруг оказывается, что из-за бага доступ к этой странице открыт всем желающим, в том числе роботам ПС. Вы баг обнаружили, поправили, а вся ваша админка уже проиндексирована ПС и сохранена в кеше прочими ботами. Вам оно надо? Делов-то - одну строчку в robots.txt написать.
Ответ написан
alsopub
@alsopub
Админка без авторизации? Наверное с авторизацией, значит бот в нее не попадет, а злоумышленник первым делом посмотрит robots.txt в поисках интересных ссылок.
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы