@Kleschevnikov

Как для двух доменов одного сайта, запретить индексацию одного из их?

Как для сайта с двумя доменами написать robots.txt, в котором один домен будет полностью разрешен к индексации, а второй полностью запрещен?
  • Вопрос задан
  • 139 просмотров
Пригласить эксперта
Ответы на вопрос 1
@dmitryim
Мы решаем на уровне веб-сервера (nginx).

Добавляем во все конфиги наших сайтов примерно такой блок (отдельным включаемым файлом, конечно):

location /robots.txt {
    set $disallow_indexing '';

    if ($host ~ demo\.) {
        set $disallow_indexing 'yes';
    }

    if ($disallow_indexing = 'yes') {
        root /var/www/html;
    }
    if ($disallow_indexing != 'yes') {
        proxy_pass      $proxy_addr;
    }
}


Содержимое /var/www/html/robots.txt:

User-agent: *
Disallow: /


Итого получается, что если запрашивается robots.txt с домена demo.site.ru, то ему отдается Disallow. Если же домен не содержит demo, то отдается тот robots.txt, который лежит в проекте.

Решение получается надежным и удобным т.к. не приходится помнить про каждый отдельный проект - все демо домены закрываются автоматически.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
от 350 000 до 450 000 ₽
DocsInBox Санкт-Петербург
от 200 000 до 280 000 ₽
от 45 000 до 45 000 ₽
29 февр. 2024, в 00:43
5000 руб./за проект
28 февр. 2024, в 23:53
1000 руб./за проект
28 февр. 2024, в 23:20
10000 руб./за проект