Как быстро закрыть от индексирования некоторые версии сайта с разными доменами?

Question

[Merle7]

Есть 3 версии сайта с разными доменами.
https://site.app/ (прод)
https://site-stage.ru (тестовый)
https://siteapp.com (тестовый)

Нужно скрыть от поисковых систем только 2 (тестовые), прод оставить. На данный момент есть решение: существует 2 файла робота, файлы в зависимости от окружения выдаются
Для этих 2-х вариантов прописано правило:

User-agent: *
Disallow: /

Достаточно ли будет этого? пишут, что запрет индексирования произойдет не сразу и вообще директивы робота носят рекомендательный характер

Что сделать, чтобы точно страницы были закрыты от индексирования (как в яндексе, так и в гугле)? Как ускорить процесс?

Answer 1

[Александр Фалалеев]

Да, поисковые системы рассматривают запреты в robots.txt как рекомендательные и всё-равно могут проиндексировать.

Правильный вариант закрыть тестовые сайты для всех в nginx / apache, а тем кому нужно оставить доступ по IP.

Comments

[Merle7]

Здравствуйте, спасибо. А, допустим, в кабинете вебмастера Яндекса или Гугла можно это настроить? Указать, что вот эти сайты девелоперские индексировать не нужно?

[Александр Фалалеев]

Merle7, теоретически можно через директиву (метатег) noindex:

https://developers.google.com/search/docs/advanced...

https://yandex.ru/support/webmaster/controlling-ro...

Но если "робот" ПС вдруг решит что страница может быть полезна пользователям, а если ещё и кто-то в сети ссылку на такую страницу оставил - то всё равно может проиндексировать.

Так что надёжно только:

1. Доступ по IP

2. Авторизация на весь сайт по паролю

Менее надёжно:

Повесить сайт не на 80 / 8080 /443 порт а какой-нибудь 7000.

[John Didact]

Merle7, а как же бинг, Яху и прочие?

Answer 2

[Merle7]

В итоге, пока решила проблему так: в зависимости от окружения поставила условие генерировать метатег
<meta name="robots" content="noindex, nofollow" />

При этом, в файле robots.txt не запрещается сканировать эти сайты, чтобы они узнали про метатег.
Когда(или если) тестовые сайты пропадут из результатов поиска ПС, в файле робота запрещу сканировать их. Если не поможет, придется воспользоваться советами выше.