Почему профили хабравчан закрыты от индексации?

Question

[VBart]

Пример: vbart.habrahabr.ru/robots.txt
Для чего это сделано? Какой с этого профит?

Answer 1

[Petrify]

Как вариант — для сокрытия персональных данных от ботов с поисковиков — собирателей оных.

Answer 2

[Sergey]

mailto:[e-mail]

Дай угадаю, хотел поискать свой собственный стародавний коммент? Да, есть такая проблема.

Comments

[VBart]

Можно конечно было и mailto:[e-mail] сразу написать, но во-первых не уверен, что по этому вопросу они готовы дать какой-то официальный ответ, а если так, то личные мнения хабровчан — тоже не плохо. Во-вторых, думаю, узнать ответ интересно не только мне одному.

[Sergey]

Да, мне тоже интересно. Более того, был на хабре уже такой вопрос.

[Sergey]

Вот он

[VBart]

Но вообще, лично меня, поиск по собственным комментариям не интересовал совсем. Вопрос был задан потому, что в этом есть некая несправедливость. Ты даешь ссылку везде и всюду на хабр, этим поднимая его цитируемость, а хабр даже с твоего собственного профиля ссылки от поисковиков закрывает.

Answer 3

[Влад Животнев]

Вообще, судя вот по этому — www.google.ru/search?sourceid=chrome&ie=UTF-8&q=inkvizitor68sl — не очень то они и закрыты. Или закрыли совсем недавно.

Кстати, статьи все мои в индексе гугла есть по site:inkvizitor68sl.habrahabr.ru

Comments

[budyakov]

Тут дело в том, что гугл часто игнорирует запрет на индексацию.

[Влад Животнев]

Гугл хороооший)

Но по факту — yandex.ru/yandsearch?text=inkvizitor68sl&lr=213
Только статей яндекс уже не знает.

Так что можно сделать вывод, что таким образом хабр борется с одинаковыми страницами в поисковой выдаче на разных доменах.

[VBart]

Гугл нашел по имени домена и только. Если вы попробуете в гугле поискать какую-то информацию из профиля, то не найдете. Также не увидите обратки в webmasters tools. Если он бореться с одинаковым контентом, то почему просто не закрыли vbart.habrahabr.ru/blog/?

[VBart]

То же и яндекса касается. Обратите внимание, они даже title страницы в выдаче не показывают.

Answer 4

[lam0x86]

На сколько я помню, достаточно давно кто-то из админов хабра жаловался, что из-за специфичной модели профилей (каждый профиль — домен третьего уровня) некоторые поисковики одновременно натравливают на хабр сотни и тысячи своих поисковых роботов, что равносильно постоянной ддос-атаке. Может быть, поэтому и закрыли.

Comments

[VBart]

Самое рациональное объяснение. Слабоват хабр, ЖЖ вон справляется.