Как реализовать разные robots.txt для сайта WordPress с несколькими прилинкованными суб-доменами?

Есть сайт на WordPress (не мультисайт) к сайту прилинковано несколько поддоменов таким образом
site.ru, sub1.site.ru, sub2.site.ru можно ли как-то в для каждого поддомена формировать отдельный robots.txt ?
  • Вопрос задан
  • 888 просмотров
Пригласить эксперта
Ответы на вопрос 2
deniscopro
@deniscopro Куратор тега WordPress
WordPress-разработчик, denisco.pro
Если я правильно понял задачу, то как-то давно я решал это с помощью .htaccess
RewriteEngine On
RewriteCond %{HTTP_HOST} ^www1\.(.*)$
RewriteCond %{REQUEST_URI} =/robots.txt
RewriteRule ^(.*)$ robots_disallow.txt [L,QSA]

При запросе robots.txt для поддомена www1 будет отдаваться robots_disallow.txt.

Ещё один вариант:
RewriteCond %{HTTP_HOST} !^www\.(.*)$
RewriteCond %{REQUEST_URI} =/robots.txt
RewriteRule ^(.*)$ robots_disallow.txt [L,QSA]

RewriteCond %{HTTP_HOST} ^www\.(.*)$
RewriteCond %{REQUEST_URI} =/robots.txt
RewriteRule ^(.*)$ robots_allow.txt [L,QSA]
Ответ написан
Комментировать
@dampiru
Когда решите свой вопрос, посетите эту страницу: https://dampi.ru/pravilnyiy-robots-txt-dlya-sayta-... я как раз подробно описал все что надо сделать. Для любителей пихать в robots что попало: если открыть uploads для всех ботов, то в индексе появляются загруженные PDF и прочие текстовые файлы. А в яндекс вебмастере, в отчете "Исключенные страницы" появляются сообщения об ошибке при индексировании картинок, мол содержимое не поддерживается. Прежде чем писать и давать советы, сообщения GSC и ЯВебмастера пробовали анализировать?
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы