Как задать игнорирование всех доменов кроме указанного в robots.txt?

Question

[unclechu]

Дабы избежать попадания в индекс девелоперских форков проекта, а также все-различных вариаций домена вроде префиксов www., — необходимо задать в robots.txt правило игнорирования всех доменов, кроме указанного. Как это сделать?

А также как при этом сделать игнорирование некоторых директорий также и на этом домене?

Answer 1

[Максим Сергеев]

Если вы имеете ввиду под

все-различных вариаций домена

- поддомены. То нужно в корне каждого поддомена в robots.txt написать :
User-agent: *
Disallow: /

А также как при этом сделать игнорирование некоторых директорий также и на этом домене?

Для запрета индекса определенных папок используйте:
Disallow: /fork/

Для указания основного хоста
Host: www.myhost.ru

Comments

[unclechu]

То-есть если я укажу хост myhost.ru, то если поисковик зайдёт по любому другому домену, то он проигнорирует домен целиком?

> То нужно в корне каждого поддомена в robots.txt написать
Что означает «в корне каждого поддомена»? У меня один файл для домена с www и без. Но www. нужно игнорировать.

[Максим Сергеев]

Что бы поисковик учитывал домен без www, в robots.txt указываем host:вашдомен.ru
Если у вас нет поддоменов, вам достаточно закрыть при помощи disallow папки с форками и иным собержимым, которое не должно быть проиндексированно.

[unclechu]

@Doppler_ua Форки — это не отдельные директории, а отдельные хосты в моём случае.

[Максим Сергеев]

@unclechu Напишите пример адреса форка и сайта открытого для индексации. Не совсем могу понять что конкретно вам нужно)

[unclechu]

@Doppler_ua Форки:
fork1.site.org
fork2.otherdomain.org
Рабочий сайт:
www.site.org
site.org
Везде robots.txt один и тот же, задача: чтобы индексировался только site.org, но при этом игнорировался каталог /admin/

[Максим Сергеев]

@unclechu
для "fork1.site.org fork2.otherdomain.org" в .htaccess прописать
"AddHandler server-parsed .txt"
в robots.txt
< !--#if expr=" \"${HTTP_HOST}\" != \"site.org\" " -- >
User-Agent: *
Disallow: /
Disallow: /admin/
Host: site.org
< !--#endif -->
А поддомены не организованы как virtual hosts ?

[unclechu]

@Doppler_ua тогда получается можно и так:
< !--#if expr=" \"${HTTP_HOST}\" != \"site.org\" " -- >
User-Agent: *
Disallow: /
< !--#else -->
User-Agent: *
Disallow: /admin/
Host: site.org
< !--#endif -->

[Максим Сергеев]

пробуйте)
Зайдите по fork1.site.org/robots.txt и в нём должно быть только
User-Agent: *
Disallow: /

[unclechu]

@Doppler_ua Благодарю, в итоге просто сделал алиас на PHP-скрипт, и там аналогичное написал. Просто думал может ничего модифицировать не надо будет и обычным синтаксисом можно будет это описать.