Как динамически создать файл robots.txt для каждого поддомена ?

Question

[Максим]

Ситуация такая, сайт регионально разделен на поддомены. Их очень много, а поисковым ботам нужно отдавать robots.txt и sitemap разные для каждого поддомена. От сюда встает вопрос, как можно и можно ли вообще скриптом при заходе на subdomain.site.ru/robots.txt динамически создавать robots.txt именно для того поддомена на который зашел бот?
Сейчас robots.txt и sitemap лежат в корне директории сайта www.site.ru и соответственно показываются и для всех остальных поддоменов, хотелось бы это изменить.

Answer 1

[KorsaR-ZN]

Да, через mod_rewrite (для apache), заводите alias для /robots.txt ведущий либо на заранее сгенерированный файл для определенного домена, либо на php скрипт, который на лету генерирует.

Comments

[Максим]

Большое спасибо, а пример алиаса можете написать?

[KorsaR-ZN]

@go3l337

Для первого варианта так:

<IfModule mod_rewrite.c>
   RewriteEngine On
   RewriteCond %{HTTP_HOST} ^([^www][a-z]+)\.example.com [NC]
   RewriteRule ^robots.txt  /robots_%1.txt [L]
</IfModule>

вместо example.com, пропишите свой домен (корневой), далее для всех поддоменов удовлетворяющим условию, будет подмена на файла тип robots_ИМЯ_ПОДДОМЕНА.txt, лежащего в корне, a для главного домена или www, будет запрошен файл по умолчанию, т.е robots.txt

Для второго варианта:

<IfModule mod_rewrite.c>
   RewriteEngine On
   RewriteCond %{HTTP_HOST} ^([^www][a-z]+)\.example.com [NC]
   RewriteRule ^robots.txt  /robots.php?lang=%1 [L]
</IfModule>

Тут ситуация аналогична первому варианту, только динамическая генерация файла на PHP, GET параметром будет передан имя поддомена, ответ должен быть валидное тело файла robots.txt.
Как и в первом случаи для главного домена или www логика не сработает и будет запрошен файл по умолчанию, т.е robots.txt.

Для этого в apache должен быть установлен модуль mod_rewrite

[Максим]

Большое спасибо!

[Olya_Sh]

KorsaR-ZN: Добрый вечер!
А вы не подскажите, второй вариант, он предполагает заранее php скрипт - где его взять? Столкнулась с той же ситуацией. Не совсем поняла - валидное тело для ответа.
И еще вопрос - sitemaps можно ли точно также подстроить для каждого поддомена? Их предполагается больше двух тысяч..
Когда попробовала сгенерировать на сайте для одного поддомена sitemap - отвтетом было URL не доступен (HTTP 434) - как это исправить?

[KorsaR-ZN]

Olya_Sh: Да, к выходным дам ответ, хорошо?