@KonstantinDyulin

Как закрыть сайты на хостинге от индексации ботами?

Есть хостинг с nginx на борту. Есть 2 размещенных проекта на нем. Как закрыть их для индексации ботами?
  • Вопрос задан
  • 147 просмотров
Пригласить эксперта
Ответы на вопрос 3
@Joyz
Самое простое это создайте файл robots.txt и добавте директивы noindex как тег или как заголовок HTTP-ответа.
Ответ написан
Комментировать
hint000
@hint000
у админа три руки
Только от честных ботов. Вы им в robots.txt говорите, что им сюда не следует ходить и они не ходят.
Но они не обязаны делать так, как им велено в robots.txt.
А запретить только ботам вы сможете не раньше, чем научитесь отличать бота от человека. А если разработчик захочет сделать бота, неотличимого от человека?

Ну если контент на сайте не общедоступный, а только для зарегистрированных пользователей - тогда другое дело, хоть по паспорту можно регистрировать живых пользователей и боты уже не пройдут (у них нет паспортов).
Ответ написан
@AUser0
Чем больше знаю, тем лучше понимаю, как мало знаю.
А вы уверены, что именно этого хотите?

Тогда закрывайте контент за JS-ом, регистрациями-авторизациями, капчами, паролями с подсказками прямо на странице ввода пароля. Ну и robots.txt с noindex, конечно.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы