Как для двух доменов одного сайта, запретить индексацию одного из их?

Question

[Дмитрий]

Как для сайта с двумя доменами написать robots.txt, в котором один домен будет полностью разрешен к индексации, а второй полностью запрещен?

Comments

[Виктор Петров]

Сайты на субдоменах - разные. И файлы с директивами надо добавлять отдельные, свои.
Но в вашем случае задачка чуть поинтереснее. robots.txt - это про запрет на сканирование. Для Гугл сканирование и индексация - разные понятия, в отличие от Яндекса. Запрет на сканирование не отменяет возможность индексации и попадания в выдачу - просто Гугл помечает на выдаче, что "Владелец сайта запретил..."
Если контент идентичный - можно закрыть от гугла на уровне мета robots, либо склеить любым другим способом. Впрочем, и robots.txt скорее всего будет вполне достаточно.

Answer 1

[dmitryim]

Мы решаем на уровне веб-сервера (nginx).

Добавляем во все конфиги наших сайтов примерно такой блок (отдельным включаемым файлом, конечно):

location /robots.txt {
    set $disallow_indexing '';

    if ($host ~ demo\.) {
        set $disallow_indexing 'yes';
    }

    if ($disallow_indexing = 'yes') {
        root /var/www/html;
    }
    if ($disallow_indexing != 'yes') {
        proxy_pass      $proxy_addr;
    }
}

Содержимое /var/www/html/robots.txt:

User-agent: *
Disallow: /

Итого получается, что если запрашивается robots.txt с домена demo.site.ru, то ему отдается Disallow. Если же домен не содержит demo, то отдается тот robots.txt, который лежит в проекте.

Решение получается надежным и удобным т.к. не приходится помнить про каждый отдельный проект - все демо домены закрываются автоматически.

Comments

[Дмитрий]

Спасибо!