Запретить никак, захочет так зайдёт куда угодно. nofollow - запрещает ссылку к индексу. robots.txt - запрещает индексацию страницы.
Я задавал вопрос когда то в Яндекс:
Здравствуйте!
У меня есть страница на сайте, которую я не хочу видеть в поиске, я её закрыл от индексации в robots.txt.
Но на эту страницу ссылается много других страниц, как внешних так и внутренних.
Вопросы:
1) Если количество ссылок будет увеличиваться, то робот в какой то момент решит её добавить в индекс или он всё таки будет всегда руководствоваться запретом в robots.txt ?
2) Нужно ли ссылки ведущие на страницу закрытую в robots.txt окружать тегами или не нужно или это роли не играет ?
Ответ:
1. Наш робот не индексирует запрещённые в robots.txt страницы ни при отсутствии на них ссылок, ни при наличие какого бы то ни было количества таковых.
2. Никакой существенной роли это не играет. Есдинственное, на что влияют ссылки на запрещённые к обходу страницы - это на хранение информации об этих страницах в базе робота. При отсутствии ссылок информация о них полностью удаляется из базы робота. При наличии ссылок, робот помнит о страницах, чтобы в случае снятия запрета быстро их проиндексировать.
