Как закрыть сайты на хостинге от индексации ботами?

Question

[KonstantinDyulin]

Есть хостинг с nginx на борту. Есть 2 размещенных проекта на нем. Как закрыть их для индексации ботами?

Answer 1

[Joyz]

Самое простое это создайте файл robots.txt и добавте директивы noindex как тег или как заголовок HTTP-ответа.

Answer 2

[hint000]

Только от честных ботов. Вы им в robots.txt говорите, что им сюда не следует ходить и они не ходят.
Но они не обязаны делать так, как им велено в robots.txt.
А запретить только ботам вы сможете не раньше, чем научитесь отличать бота от человека. А если разработчик захочет сделать бота, неотличимого от человека?

Ну если контент на сайте не общедоступный, а только для зарегистрированных пользователей - тогда другое дело, хоть по паспорту можно регистрировать живых пользователей и боты уже не пройдут (у них нет паспортов).

Comments

[KonstantinDyulin]

Я понимаю что смогу закрыться только от честных ботов. Мне больше помощь нужна с тем как это делается.

[hint000]

KonstantinDyulin,
https://www.google.com/search?q=robots.txt+примеры

Answer 3

[AUser0]

А вы уверены, что именно этого хотите?

Тогда закрывайте контент за JS-ом, регистрациями-авторизациями, капчами, паролями с подсказками прямо на странице ввода пароля. Ну и robots.txt с noindex, конечно.

Comments

[DevMan]

KonstantinDyulin, будет.
пока кто-то целенаправленно не захочет парсить этот сайт.

[AUser0]

DevMan, угу, вечная неизлечимая борьба брони и снаряда.

[DevMan]

AUser0, именно.
можно только максимально усложнить. но для этого нужно понимать цель, а не просто "как закрыть".