Вход на сайт для поисковиков?

Question

[Иван Тихонов]

Есть некий ресурс, для просмотра большей части страниц требуется регистрация. Есть ли стандартные учетные записи для поисковиков, чтобы можно было включить их в разрешенные, или поисковики не пойдут дальше страницы с авторизацией, если нет прямых линков с главной страницы на внутренние?

Comments

[TheHorse]

Надеюсь что нет ничего такого. Нельзя чтоб найдя что-то в гугле, человек попадал не на информацию а на страницу с регистрацией.

[Иван Тихонов]

Ясно, похоже, мой вопрос не совсем правильно поняли, но тут уж я сам виноват. Спасибо за ответы, есть повод подумать.

Answer 1

[Max]

Все поисковики «представляются» специфичными user-agent, да и по IP их можно определить. Однако они (поисковики) такое не любят и могут Вас проигнорировать либо забанить. en.wikipedia.org/wiki/Cloaking

Comments

[hayk]

<meta name="robots" content="noarchive"> запрещает поисковику кешировать (показывать кеш).

Answer 2

[Антон]

Раньше, насколько я помню, у гугла можно было указать адрес скрипта авторизации и логин/пароль для бота гугла. И врод как бот мог авторизовываться на сайте и индексировать его.
Я, правда, этим никогд не пользовался, да и сейчас в вебмастере гугла не нашел этой функции.

Answer 3

[egorinsk]

По идее, это свинское поведение — подсовывать боту страницу, а юзеру при заходе — требовать регистрацию. Я закрываю такие сайты сразу же.

Но некоторые предпочитают пользоваться такими приемами. Насчет клоакинга — тут нет строгого запрета, что бот должен видеть одну и ту же страницу, что и человек. Где-то была статья на эту тему, клоакингом считается именно намеренный обман поисковика (например, поисковику показываем текст, а юзера редиректим на платный сайт с рекламой при заходе). Многие сайты применяют подобные трюки (показ разного содержимого гуглю и юзерам), и их никто не банит. Правда, это крупные сайты, у которых хорошие отношения с гугл, вас скорее всего просто выкинут из индекса.

Comments

[Иван Тихонов]

Спасибо! основной функционал доступен и без регистрации, но некоторые фишки видны только с ней. Короче, не стоит игра свеч, я уже понял.

Answer 4

[ant99]

А ещё можно поискать параметры учётки для ресурса на bugmenot.com.