Как реализовать разные robots.txt для сайта WordPress с несколькими прилинкованными суб-доменами?

Question

[Евгений]

Есть сайт на WordPress (не мультисайт) к сайту прилинковано несколько поддоменов таким образом
site.ru, sub1.site.ru, sub2.site.ru можно ли как-то в для каждого поддомена формировать отдельный robots.txt ?

Answer 1

[Денис Янчевский]

Если я правильно понял задачу, то как-то давно я решал это с помощью .htaccess

RewriteEngine On
RewriteCond %{HTTP_HOST} ^www1\.(.*)$
RewriteCond %{REQUEST_URI} =/robots.txt
RewriteRule ^(.*)$ robots_disallow.txt [L,QSA]

При запросе robots.txt для поддомена www1 будет отдаваться robots_disallow.txt.

Ещё один вариант:

RewriteCond %{HTTP_HOST} !^www\.(.*)$
RewriteCond %{REQUEST_URI} =/robots.txt
RewriteRule ^(.*)$ robots_disallow.txt [L,QSA]

RewriteCond %{HTTP_HOST} ^www\.(.*)$
RewriteCond %{REQUEST_URI} =/robots.txt
RewriteRule ^(.*)$ robots_allow.txt [L,QSA]

Answer 2

[dampiru]

Когда решите свой вопрос, посетите эту страницу: https://dampi.ru/pravilnyiy-robots-txt-dlya-sayta-... я как раз подробно описал все что надо сделать. Для любителей пихать в robots что попало: если открыть uploads для всех ботов, то в индексе появляются загруженные PDF и прочие текстовые файлы. А в яндекс вебмастере, в отчете "Исключенные страницы" появляются сообщения об ошибке при индексировании картинок, мол содержимое не поддерживается. Прежде чем писать и давать советы, сообщения GSC и ЯВебмастера пробовали анализировать?