Мы решаем на уровне веб-сервера (nginx).
Добавляем во все конфиги наших сайтов примерно такой блок (отдельным включаемым файлом, конечно):
location /robots.txt {
set $disallow_indexing '';
if ($host ~ demo\.) {
set $disallow_indexing 'yes';
}
if ($disallow_indexing = 'yes') {
root /var/www/html;
}
if ($disallow_indexing != 'yes') {
proxy_pass $proxy_addr;
}
}
Содержимое /var/www/html/robots.txt:
User-agent: *
Disallow: /
Итого получается, что если запрашивается robots.txt с домена demo.site.ru, то ему отдается Disallow. Если же домен не содержит demo, то отдается тот robots.txt, который лежит в проекте.
Решение получается надежным и удобным т.к. не приходится помнить про каждый отдельный проект - все демо домены закрываются автоматически.
