Итак, следуя технологии AJAX crawling, для снятия html скриншота страницы приложения все параметры после #! передаются в серверный скрипт-зеркало с get параметром _escaped_fragment_.
Все просто кажется, а может, я просто ничего еще не понял=) Но что делать, если в hash-url есть параметр, который не должен индексироваться - т.е GoogleBot не должен его читать за отделенную страницу и передавать в _escaped_fragment_ ?
Например, есть приложение с неким url, параметр [&overlay=xxxx] не должен учитываться при индексации, т.е робот должен считать что эти url эквивалентны и представляют одну страницу:
- site.com/#!users/top/?q=lamak
- site.com/#!users/top/?q=lamak&overlay=ololo
- site.com/#!users/top/?q=lamak&overlay=doesnt_matter_what
Т.е как отделить параметры которые влияют на контент и которые служебные только для клинской стороны, не для индексации, чтоб робот не пытался запрашивать 3 страницы по этим url и в индекс бы попала одна? Можно конечно запретить вручную индексирование страниц, но нет ли способа на уровне url это сделать?
Что будет, если отказаться от AJAX crawling и просто подсовывать гугл боту html, а приложению json? гугл не забанит? тогда все просто:
- site.com/users/top/?q=lamak
- site.com/users/top/?q=lamak#overlay=ololo
- site.com/users/top/?q=lamak#overlay=doesnt_matter_what
на клиенте через history api, как обычно.
Спасибо=)
