robots это только рекомендации роботу, это значит, что он может игнорировать. Согласно справке гугла запретить попадание в индекс можно:
- ответ сервера кодами 40*
- специальный заголовок в ответе сервера
- meta name=“robots” content=“noindex,nofollow"
если в индекс попали страницы, или есть ссылки извне, то robots будет игнорирован, правда в выдаче будет написано, что результат скрыт и т.д., но судя по всему этот контент будет участвовать в ранжировании
