Как закрыть от индексации форум оставив открытыми для роботов лишь несколько тем?

Question

[shearlocktm]

Имеется сайт со старым и очень захламленным форумом полностью закрытым от индексации, в котором ценность представляют несколько тем. Закрыт он посредством Disallow: /forum/ в Robots.txt Каким образом можно открыть для роботов эти темы? Посредством добавления Allow: /forum/goodthemes/ в robots получиться? Заранее благодарен.

Answer 1

[shearlocktm]

Решил проблему так.
Т.к. Google и Яндекс дружат с директивой Allow делаем следующее.
Закрываем от индексации все страницы начинающиеся с forum:
Disallow: /forum/
Но разрешаем индексировать страницы начинающиеся с forum/viewforum и /forum/viewtopic:
Allow: /forum/viewforum
Allow: /forum/viewtopic
Соответственно индексироваться будут и страницы вида /forum/viewforum.php&f=31 и им подобные.
Вот тут имеется довольно исчерпывающая информация по данному вопросу.
Если кто-то может дополнить или предоставить альтернативные пути решения, то буду благодарен.