Как защититься от вездесущего кэша гугла?

Question

[Реверс]

Собственно сам вопрос озвучен, но хотел бы уточнить, например есть статья на хабре, в одном из закрытых блогов, но если правильно ее ввести в поиске кеша гугла, то она выходит даже не зареганной персоне на хабре.

Есть какие средства для полного скрытия от систем кэша? и сколько обычно хранится кэш в тырнете?

Гран мерси!

Answer 1

[Анатолий]

Интересно, как она туда попадает, если она недоступна незарегистрированным.

Comments

[Реверс]

этот вопрос тоже меня долго мучает, возможно пресловут robot.txt как неккоректно составлен.

[Алексей]

robots.txt же…

[Анатолий]

Получается если бот может зайти посмотреть, то и человек может зайти посмотреть? Но человек не может :)

Answer 2

[Gugic]

Если еще не попали в кэш, поможет правильно настроенный robots.txt (уже писали), например, вот так:

User-agent: *
Disallow: /

если же один из ваших сайтов, несмотря на все меры предосторожности, угодил в кэш, то вот тут (http://www.google.com/webmasters/), после простой процедуры авторизации домена, можно отправить гуглу запрос об удалении конкретной страницы или пула страниц из кэша. Перед этим-таки настроив robots.txt. Недавно собственноручно вырезал из гугла десяток сайтов.

Это если в общем. Касательно хабра — черт их знает. Может быть сознательно открыли, для повышения в выдаче.

Answer 3

[hayk]

Гугл и Яндекс (про остальных не в курсе) не хранят в кеше страницы с
<meta name="robots" content="noarchive">

Answer 4

[antivir]

Во время апгрейда хабра бывали моменты, когда все статьи становились доступны без регистрации. Возможно, Гугл в это время их и съел.

Comments

[Реверс]

возможно в этом загвоздка.