Запросы Google Bot &post=хххххх_ххх

Question

[FError]

Периодически гуглбот пробует проиндексировать страницу подставляя к урлу &post=-xxxxxx_xxxxxx
(по крайней мере юзерагент гуглоботовский и в выдаче потом такие страницы появляются)

Некоторые ресурсы отдают при этом нормальный контент, игнорируя дополнительный параметр и в выдаче появляются дубликаты страниц, я полагаю:
habrahabr.ru/post/151517/&post=-20629724_219867/

Мы обычно отдаем 404 на такие параметры или удаляем лишние параметры и делаем редирект на корректную ссылку.
Как правильно реагировать на такие «левые» параметры вообще и что это за проверки от гугла, кто-нибудь знает?

Answer 1

[FError]

Да, верно, это проделки вконтакта:

Request URL:http://vk.com/away.php?to=<OUR_SITE_URL>&post=-39256121_141
И оттуда происходит 302 на корректный урл.
Но что эти ссылки есть во вконтактике нагуглить не получилось. Но это уже не касается данного вопроса.

Спасибо за помощь.

Answer 2

[ArtEx]

Как уже верно предположили — это VK. Если в постах мелькает внешний url, VK туда дописывает идентификатор поста\заметки, где ссылка размещена.

Answer 3

[egorinsk]

Referer смотрели? Может, просто кто-то на своем сайте разместил такую ссылку, а вы панику развели. Ну или у вас на странице есть форма с полем post как вариант.

Я считаю, что подстраиваться под косяки Гугла не самое разумное дело и надо просто игнорировать такие параметры — то есть, ничего не делать.

Comments

[FError]

Referer нет. Естественно это первое что я проверил.
Это уже продолжается не первый месяц, на разные урлы сайта. Только с таким параметром и случайными значениями.
Паники никакой нет, есть просто интерес. И не думаю что это просто «косяки гугла».

[egorinsk]

Содержание параметра post подозрительно напоминает вконтактовкские ид группы + ид поста/комментария. Я, как не верящий в мистику человек, считаю все же, что это ссылка есть где-нибудь в интернете или на вашем сайте.

[egorinsk]

Например, на вашем сайте может где-то завалятся код вида href="&post=XXXX", который преобразуется в такую штуку.

[FError]

насчет вконтакта — спасибо, гляну.

[Иван Байдин]

Таким образом может происходить попытка определения продажных ссылок из бирж типа SAPE.

По теме вопроса есть два хороши варианта:
1) 301 редирект на УРЛ без параметра;
2) Использования канонических ссылок.

Answer 4

[Wott]

правильно выдавать таки страницу, но при этом иметь в тексте link rel='canonical' с правильным урлом.
Как вариант выдавать 301-ую но это как-то старомодно.

гугл и прочие поисковики пробуют любой урл, который найдется на самом сайте или на любом другом.

Answer 5

[moderatorh]

Кстати гугл не только пробует эти ссылки но и очень активно на них «ругается» в панели вебмастера, предлагая устранить данную ошибку…

Answer 6

[roman_lenko]

У меня была аналогичная ситуация: как было сказано — это проделки Вконтакте, который добавляет к ссылке в записи, размещённой на стене, параметр:

&post=-ID-ПАБЛИКА-ИЛИ-ЧЕЛОВЕКА_НОМЕР-ЗАПИСИ

Лечим ситуацию на примере URL www.example.com/&post=-22400899_353

1) Заходите по URL:
vk.com/id22400899_353
или
vk.com/club22400899_353

На экране вы должны увидеть запись в которой размещена ссылка на ваш сайт. Вы можете просто удалить эту запись (или попросить удалить человека её разместившего), после этого отметить в Google Webmaster Tools, что проблема решена. Если проблема больше не появляется — значит всё ОК (обычно, так бывает, если у записи не было много репостов и удалением ссылки из интернета вы решили проблему).

Если проблема появляется снова, то решается на уровне вашего сервера через ModRewrite, или IIS URL Rewrite. Пишите правило регулярного выражения: (.*)&post с условием 301 редиректа на то, что поймано в (.*). Т.е., в нашем примере с URL www.example.com/&post=-22400899_353 регулярное выражение «поймает» строку: www.example.com на которую и нужно выполнить редирект 301.

Нужна будет помощь — пишите: roma-it.com или Вконтакт (выше в примере — моя страница). С точки зрения SEO эта проблема беды не несёт, но, лично мне, «муляют» глаза всяческие ошибки, которые хочется поскорее исправить.