Как исключить индексацию разрабатываемого сайта поисковиками?

Question

[Sergey Pribylskiy]

Добрый день!
уже второй раз приходится менять домен для тестовой версии сайта. Сначала разрабатывался новый сайт га new.site.ru, позже он был проиндексирован поисковиками, хотя на добавление в поисковую базу никто не делал, да и присутствует фал robot.txt. В результате сделали перенаправление всех через 301 redirect на основной сайт, домен заменили, на  www2.site.ru, но его постигла та же участь (через 3 месяца).

Паролить сайт через htpasswd? другие способы есть?

Answer 1

[Дмитрий Энтелис]

Как минимум robots.txt c cодержимым

User-agent: *
Disallow: /

По хорошему этого достаточно.
Но можно дополнительно закрывать basic auth

Кстати что бы сайт появился в поисковиках нет необходимости его добавлять руками.
Брендированные браузеры, яндекс метрика, переходы на внешние сайты где установлена метрика - и поисковики уже знают ваш url )

Answer 2

[Heafy]

во-первых, не ставить на новый сайт ссылки доступные роботам поисковых систем, тогда сайт просто не возможно будет найти, не зная о нём.
во-вторых, присутствие файла robots.txt ничего не даст, в нём необходимо прописать нечто вроде Disallow: / (подробнее ищите "директивы robots.txt")
ну и в-третьих, попробуйте страницу заглушку.

Answer 3

[Sergey Pribylskiy]

сделано все было:
User-agent: *
Disallow: /
да, скорее всего, из-аза метрики, которая была и на основном сайте и на этот была перелита в момент синхронизации содержимого реального сайта и разрабатываего.
придется сделать защиту через htpasswd

Answer 4

[Владимир Шишминцев]

Файл robots.txt используется для частичного управления индексированием сайта поисковыми роботами. Этот файл состоит из набора инструкций для поисковых машин, при помощи которых можно задать файлы, страницы или каталоги сайта, которые не должны индексироваться.
Но поисковые системы не обязаны ориентироваться на данный файл!

Закрывать разрабатываемый сайт надо по паролю или IP адресу

Answer 5

[Vik Ewoods]

https://yoast.com/articles/robots-meta-tags/

none

This is a shortcut for noindex,nofollow, or basically saying to search engines: don’t do anything with this page at all.