Как работает robots с поддоменами?

Question

[Александр Иванов]

*** Также необходимо учесть, что сайт будет иметь 2 копии (будет открываться с обоих адресов forum.domain.ru и domain.ru/forum), что может привести к попаданию сайта под фильтр со стороны поисковиков за дублирование контента. Для предотвращения индексации поисковиками технического адреса (domain.ru/forum) надо в файле robots.txt прописать запрет на индексацию указанной директории (Disallow: /forum/)

________________________________________________

сверху то что написали в тех.поддержке хостинга

Если у dom.site.ru и site.ru, одинаковые robots, будет ли робот продолжать индексировать dom.site.ru, с проставленной директивой Disallow: /dom/ ?

Содержимое роботс dom.site.ru

Host: site.ru
User-Agent: *
Disallow: /dom/ 
Sitemap: http://site.ru/sitemap.xml

Будет ли роботс продолжать индексировать dom.site.ru, и на сколько они зависят?

Answer 1

[Андрей Николаев]

Вообще, если по site.ru и dom.site.ru будет один и тот же robots.txt, то dom.site.ru будет алиасом и не должен показываться в поиске (будет только site.ru), но это у меня догадки только

Comments

[Александр Иванов]

Вот и мы гадаем )

[Ankhena]

cimonlebedev: они склеятся

[Александр Иванов]

Ankhena W: спасибо, сейчас у меня для каждого поддомена отдельный роботс

Answer 2

[Neocaridina]

Прописать в site.com/forum/.htaccess:

RewriteCond %{HTTP_HOST} ^site.com|^www.site.com [OR]
RewriteCond %{HTTP_HOST} ^www.dom.site.com [NC]
RewriteRule ^(.*)$ http://dom.site.com/$1 [R=301,L]

На robots.txt в этом плане надеяться не советую.