DIITHiTech
@DIITHiTech
Fullstack javascript developer

AJAX crawling: возможно ли указать GoogleBot'у что некоторые параметры в hash url не нужно пытаться индексировать?

Итак, следуя технологии AJAX crawling, для снятия html скриншота страницы приложения все параметры после #! передаются в серверный скрипт-зеркало с get параметром _escaped_fragment_.
Все просто кажется, а может, я просто ничего еще не понял=) Но что делать, если в hash-url есть параметр, который не должен индексироваться - т.е GoogleBot не должен его читать за отделенную страницу и передавать в _escaped_fragment_ ?
Например, есть приложение с неким url, параметр [&overlay=xxxx] не должен учитываться при индексации, т.е робот должен считать что эти url эквивалентны и представляют одну страницу:
  • site.com/#!users/top/?q=lamak
  • site.com/#!users/top/?q=lamak&overlay=ololo
  • site.com/#!users/top/?q=lamak&overlay=doesnt_matter_what

Т.е как отделить параметры которые влияют на контент и которые служебные только для клинской стороны, не для индексации, чтоб робот не пытался запрашивать 3 страницы по этим url и в индекс бы попала одна? Можно конечно запретить вручную индексирование страниц, но нет ли способа на уровне url это сделать?

Что будет, если отказаться от AJAX crawling и просто подсовывать гугл боту html, а приложению json? гугл не забанит? тогда все просто:
  • site.com/users/top/?q=lamak
  • site.com/users/top/?q=lamak#overlay=ololo
  • site.com/users/top/?q=lamak#overlay=doesnt_matter_what

на клиенте через history api, как обычно.
Спасибо=)
  • Вопрос задан
  • 318 просмотров
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы