VBart
@VBart

Почему профили хабравчан закрыты от индексации?

Пример: vbart.habrahabr.ru/robots.txt
Для чего это сделано? Какой с этого профит?
  • Вопрос задан
  • 2406 просмотров
Пригласить эксперта
Ответы на вопрос 4
Petrify
@Petrify
Как вариант — для сокрытия персональных данных от ботов с поисковиков — собирателей оных.
Ответ написан
Комментировать
@bondbig
mailto:support@habrahabr.ru

Дай угадаю, хотел поискать свой собственный стародавний коммент? Да, есть такая проблема.
Ответ написан
@inkvizitor68sl
Linux-сисадмин с 8 летним стажем.
Вообще, судя вот по этому — www.google.ru/search?sourceid=chrome&ie=UTF-8&q=inkvizitor68sl — не очень то они и закрыты. Или закрыли совсем недавно.

Кстати, статьи все мои в индексе гугла есть по site:inkvizitor68sl.habrahabr.ru
Ответ написан
lam0x86
@lam0x86
На сколько я помню, достаточно давно кто-то из админов хабра жаловался, что из-за специфичной модели профилей (каждый профиль — домен третьего уровня) некоторые поисковики одновременно натравливают на хабр сотни и тысячи своих поисковых роботов, что равносильно постоянной ддос-атаке. Может быть, поэтому и закрыли.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы