Как закрыть сайты на хостинге от индексации ботами?

Question

[KonstantinDyulin]

Есть хостинг с nginx на борту. Есть 2 размещенных проекта на нем. Как закрыть их для индексации ботами?

Answer 1

[Joyz]

Самое простое это создайте файл robots.txt и добавте директивы noindex как тег или как заголовок HTTP-ответа.

Answer 2

[AUser0]

А вы уверены, что именно этого хотите?

Тогда закрывайте контент за JS-ом, регистрациями-авторизациями, капчами, паролями с подсказками прямо на странице ввода пароля. Ну и robots.txt с noindex, конечно.

Comments

[DevMan]

KonstantinDyulin, будет.
пока кто-то целенаправленно не захочет парсить этот сайт.

[AUser0]

DevMan, угу, вечная неизлечимая борьба брони и снаряда.

[DevMan]

AUser0, именно.
можно только максимально усложнить. но для этого нужно понимать цель, а не просто "как закрыть".