robots.txt
. например у меня есть такой адрес:/news/234234
где /234234/
динамически изменяемая часть и есть адрес для печати этой этой же страницы /news/234234/print
/news/234234/print
и хочу чтоб чтоб индексировали остальные страницы.robots.txt
выглядит примерно так:User-agent: *
Disallow: /news/*/print
Allow: /
Host: site.com
Sitemap: http://site.com.ru/sitemap.xml