Индексируют ли ПС страницы, на которые не ведут ссылки?
Здравствуйте!
Индексируются ли Гуглояндексом страницы, не закрытые в robots.txt, но на которые видимых ПС ссылок нет? Это могут быть ссылки, появляющиеся на сайте только зарегистрированным пользователям (ПС просматривают сайты как Гости → этих ссылок у них просто нет). Сами эти страницы могут существовать и для не зарегистрированных пользователей и быть доступны по прямому заходу, но ссылки с сайта только для зарегистрированных.
Механизм индексации, как мне кажется, может основываться на истории посещений посетителей сайта (особенно пользователей Chrome для Коропорации Добра или Яндекс Браузрера для отечественной). Вот смотрит робот, что человек посещает страницы, на которые он сам не попал, переходя по всем ссылкам сайта, и переходит на неё.
По версии заговора - возможно, что и переходит туда, куда не должен.
Но скорее всего сами пользователи где-то используют эти ссылки и робот их таки находит.
Тут вопрос в другом:
как реализованы эти страницы для не прошедших авторизацию пользователей - это или страница ошибки, или редирект на страницу авторизации.
При ошибке (404) или редиректе (301) страница в индекс не попадёт.
Ну, разве что гугл/яндекс и паролем чьим-нибудь воспользуются или не дай бог сами зарегистрируются! :)