Как правильно запретить индексацию поисковиками частного контента?

Помнится в июле 2012 был бум обсуждения темы выдачи поисковиками контента, который по идее не должен был выдаваться. Даже в тех случаях когда private разделы сайта были защищены пользовательской авторизацией.


На моем сайте как-раз есть такие разделы, которые я бы не хотел увидеть в поисковой выдаче. Собственно сабж, как правильно нужно настроить директории, robots.txt и возможно что-то еще для предотвращения попадания private контента пользователя в открытый доступ.


На моем сайте используется авторизация, только после этого пользователь может перейти в свой раздел и увидеть свой контент
  • Вопрос задан
  • 6101 просмотр
Пригласить эксперта
Ответы на вопрос 7
jj_killer
@jj_killer
robots.txt не всегда работает (почему, вопрос открытый), но тэг meta content="noindex,nofollow" name="robots" еще не подводил.
Ответ написан
Комментировать
@Ruslan_Y
Можно кроме robots.txt (например, сгенерить тут), обернуть контент тегами (см. линк): <noindex>...</noindex>
Ответ написан
Phelix
@Phelix
SEO, Веб-анализ, Анализ данных
В robots.txt

User-agent: *
Disallow: /корень_раздела

Ну и для собственного успокоения еще и в head во всех персональных разделах:
<meta name=“robots” content=“none”>
none — заменяет noindex и nofollwo
Ответ написан
Комментировать
AxisPod
@AxisPod
Ну у нас вот google-bot даже забивает на basic авторизацию, такое чувство, что сливает пароли и абсолютно безнаказанно индексирует закрытые сайты, абсолютно забивая на robots.txt. После этого даже вообще не понятно как защититься, видимо тупо не юзать хром, сразу его отфутболивать по юзерагенту, чтобы не было возможности слить пароль basic авторизации.
Ответ написан
@likejavascript Автор вопроса
Ну у меня не basic авторизация и хром мне очень нравится.
Ответ написан
Комментировать
@likejavascript Автор вопроса
https не спасет?
Ответ написан
Комментировать
RUVATA
@RUVATA
Разработчик, гик, меломан, разгильдяй
ну для начала надо понять как робот попадает на страницы которые у Вас приватные… если как тут предполагают Google Chrome сливает пароли «Самому» :) то у Вас таки и сессия должна авторизированная «слитым» в логах быть, ежели нет то у Вас ПРОБЛЕМЫ, т.к. робот заходит туда куда его не звали просто так :).
Ну и рубите с плеча, вообще робота довольно легко детектировать, не давайте ем то что не положено — не чего будет индексировать.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы