Если Вы запрещаете для индексации некоторые страницы - они не попадут в поиск, но это не значит, что поисковая система не сможет увидеть их.
Даже если Вы сделаете так, как написал
Lander, поисковая система отследит это при помощи метрик, или браузеров (Яндекс.Браузер, Яндекс.Метрика, Google Analytics)
К примеру, таким образом легко отслеживаются и блокируются сайты, которые размещают ссылки, которые поисковая система считает вредноносными.