Слишком умный GoogleBot, как запретить?

Question

[Фёдор]

Здравствуйте!
На одном из сайтов есть кнопки, нажав на которые аяксом автоматически отправляются сообщения админу. Столкнулся с тем, что GoogleBot при индексировании сайта кликает на эти ссылки и, соответственно, отправляет сообщения. Особенно удивило то, что по нажатию на ссылку бот соглашается на скриптовый confirm. YandexBot, кстати, в настолько умном поведение замечен не был :)

Собственно, хотелось бы узнать у специалистов, как можно запретить боту нажимать на определенные ссылки? Именно нажимать. Ибо nofollow и robots.txt не помогает (он нажимает, но не индексирует).

Заранее спасибо за ответы.

Answer 1

[Виталий Перетятько]

Надо чтобы ваши «сообщения админу» отправлялись не GET, а POST запросами. POSTы гугл не будет посылать

Comments

[Фёдор]

Попробую, спасибо за совет.

Answer 2

[Алексей]

Гугль наглый… он и в чаты поддержки заходит по кнопке в два шага… :) и поддержка с ним пытается общаться… пришлось особые правила под него писать…

Comments

[StopDesign]

Пробовали с ним в чате договориться? :-)

[Алексей]

Я бы офигел, если бы он там еще и спрашивать что-то стал :))

Answer 3

[bekbulatov]

robots.txt?

Comments

[bekbulatov]

Вижу, не помогает.

Answer 4

[AntonioK]

В саппорт гуглу писать пробовали?

Comments

[Александр Макаров]

Шутите?

Answer 5

[Gavrylyuk]

вынеси ссылку в скрипт

Comments

[Фёдор]

Выносил. Нажимает. И даже на confirm соглашается.

[Александр Макаров]

Гугль давно уже JavaScript выполняет.

Answer 6

[Андрей]

Делать проверку на user-agent в скрипте отправки сообщения?

Comments

[Фёдор]

Это конечно вариант, но самый крайний. Я думал есть какое-то более простое решение, типа nofollow, но чтоб вообще не кликал.

[Андрей]

Имхо не запретить ему кликать. Еще как вариант — вставлять ссылку на отправку сообщения через document.write().

Answer 7

[lashtal]

можно запретить индексировать часть страницы, расположенную между
<!––googleoff: all-->
....
<!––googleon: all-->


Comments

[lashtal]

(копируйте осторожно — для хабрапарсера первые два "--" заменены на похожие символы)

[mihavxc]

скорее всего это как и rel=nofollow — гулять по ним гугл будет, просто в индекс это не попадет

Answer 8

[Сергей Савостин]

Убрите URL с ссылки и переходите Javascript'ом после подтверждения.
Goggle не подтверждает confirm, просто у Вас (наверное) написано так:

<a href="/send.php" onclick="return confirm('Send?')">Send</a>

И Google парсит только /send.php и переходит.

Comments

[Фёдор]

href пустой и на него вешается событие через JS. Я сам удивился, что гуглбот такой догадливый.

[Александр Макаров]

Он не догадливый, он выполняет JS.

Answer 9

[Сергей Савостин]

Ага, «проблеме» похоже уже больше двух лет и алгоритм Google только улучшает.
Как я понял из статьи по ссылке нужно убирать явное упоминание урлов, может шифровать как-то. Но есть еще вариант, что у работающего с сайтом стоит google toolbar, который стучит все урлы. От этого никуда не деться, разве что на стороне сервера при запросе этого урла определять бота по user-agent (он вроде не шифруется)