Вы точно понимаете значение "закрыть от индексации"? Закрыть конкретные страницы от индексации можно двумя способами:
- Вначале html-документа в прописать мета тег robots со значением noindex
- В файле robots.txt прописать правила для поисковых роботов
Оба варианта запретят поисковым роботам индексировать страницы. И это все равно является рекомендацией, если поисковик сочтет контент полезным, он может проигнорировать указанные правила
Есть еще тег
<noindex>...</noindex>
, гугл его игнорирует
Вы можете запретить роботу переходить по ссылкам указав
rel="nofollow", но он все равно найдет эти страницы и проиндексирует, если индексация не запрещена