Вход на сайт для поисковиков?

Есть некий ресурс, для просмотра большей части страниц требуется регистрация. Есть ли стандартные учетные записи для поисковиков, чтобы можно было включить их в разрешенные, или поисковики не пойдут дальше страницы с авторизацией, если нет прямых линков с главной страницы на внутренние?
  • Вопрос задан
  • 2560 просмотров
Пригласить эксперта
Ответы на вопрос 5
7workers
@7workers
Все поисковики «представляются» специфичными user-agent, да и по IP их можно определить. Однако они (поисковики) такое не любят и могут Вас проигнорировать либо забанить. en.wikipedia.org/wiki/Cloaking
Ответ написан
@Olkorns
Если поисковик сможет ходить в закрытую зону, т.е. доступную лишь зарегистрированным пользователям, то тогда теряется весь смысл от регистрации. Любую проиндексированную статью можно будет читать из кеша.
Ответ написан
sHinE
@sHinE
веб-разработчик, php/js/mysql и сопутствующее
Раньше, насколько я помню, у гугла можно было указать адрес скрипта авторизации и логин/пароль для бота гугла. И врод как бот мог авторизовываться на сайте и индексировать его.
Я, правда, этим никогд не пользовался, да и сейчас в вебмастере гугла не нашел этой функции.
Ответ написан
Комментировать
@egorinsk
По идее, это свинское поведение — подсовывать боту страницу, а юзеру при заходе — требовать регистрацию. Я закрываю такие сайты сразу же.

Но некоторые предпочитают пользоваться такими приемами. Насчет клоакинга — тут нет строгого запрета, что бот должен видеть одну и ту же страницу, что и человек. Где-то была статья на эту тему, клоакингом считается именно намеренный обман поисковика (например, поисковику показываем текст, а юзера редиректим на платный сайт с рекламой при заходе). Многие сайты применяют подобные трюки (показ разного содержимого гуглю и юзерам), и их никто не банит. Правда, это крупные сайты, у которых хорошие отношения с гугл, вас скорее всего просто выкинут из индекса.
Ответ написан
ant99
@ant99
А ещё можно поискать параметры учётки для ресурса на bugmenot.com.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы