Как закрыть поддомены от индексации поисковыми системами?

Question

[amigo_098]

есть такая проблема, всплывает каждый раз - разворачиваем сайты и не закрываем их вроботсе, а иногда еще хуже - закрытый в роботсе сайт переносим на основной домен клиента ) тогда вообще капец - сайт из индекса выпадает. Поэтому возможно есть решение исключающее "забыл" - т.к. у нас сайты развернутые на нашем хосте имеют адрес *.sorokarm.ru то возможно применив какое то правило для домена sorokarm.ru мы сможем закрыть все поддомены. возможно вставив А-записи к этому домену. Есть у кого какие мысли?

Answer 1

[Макс]

Есть решение исключающее "забыл" - проверять и не забывать
А для доменов sorokarm.ru можно прописать редирект в .htaccess для файлов robots.txt

Comments

[amigo_098]

Да, первое - тоже решение :) Максим, второе - поподробнее ,пожалуйста!

[Макс]

amigo_098: stackoverflow.com/questions/11373376/robots-txt-fo...

Answer 2

[Пума Тайланд]

При созадинии, сдаче, переносе проекта всегда есть стандартный туду, если его нет то это пущий идиотизм, в список просто добавляешь пункт проверки роботса и прочего и живешь спокойно.

Comments

[amigo_098]

Перечитайте ,пожалуйста ,вопрос)

[Пума Тайланд]

amigo_098: кидайте автоматом роботс закрытый на все поддомены, решается скриптом за пять минут.

Answer 3

[Виктор Савченко]

Берете NGINX, пишите:

server {
server_name ПОДДОМЕН.ТУТ;
add_header X-Robots-Tag noindex;
}

Готово. 100% работает для гугла.

Comments

[amigo_098]

Спасибо,но где это пишется? В каком файле? Напишите подробнее,пожалуйста

[Виктор Савченко]

У вас NGINX используется вообще? Просто откройте его конфиг в /etc/nginx/nginx.conf

Answer 4

[kanuhamru]

Вот тут есть решение для Apache: searchengines.guru/showpost.php?p=8776153&postcount=11

Суть метода в подмене robots.txt для поддоменов на уровне сервера (отдаем заранее подготовленный специально для поддоменов robots.txt, а не из папки поддомена).

Буду благодарен за подобное для Nginx (решение Виктора Савченко не подходит - нужен robots.txt).