Вопрос к SEO. Full Ajax, graceful degradation + "#links"?

Question

[Fr3nzy]

В общем, суть вопроса такова:

• Имеется проект, который работает полностью на аяксе, но без проблем работает и при выключенном JS'е
  
• URL в строке состояния браузера (при наличии JSа) отличается в HTML5 и HTML4-браузерах (в первых используется History Push State, во вторых — изменение якоря страницы)
  
• Для индексации поисковиками — все окей. Но вот если человек зайдет, скажем, из IE9, то для него URL в строке состояния браузера на странице about в HTML4-браузерах будет выглядеть как "/#page/about" (в то время как в HTML5 — "/page/about").
  
• Ссылки внутри самого сайта — обыкновенные и при выполнении AJAX-запроса к серверу абсолютно никак не меняются
  

Насколько плохо то, что при копировании ссылки в старых браузерах будет получаться ссылка с хешем? Т.е. человек зашел, скопировал ссылку, вставил ее где-нибудь на, скажем, Твиттере. Ведь, по-сути, для поисковиков это абсолютно разные ссылки :)

Answer 1

[4elentano]

Схема работает следующим образом:

1. Сайт поддерживает схему сканирования AJAX.
2. Сервер выдает снимок HTML для каждого URL AJAX, который виден пользователю (через браузер). URL AJAX содержит хэш-фрагмент, например www.example.com/index.html#mystate, где #mystate – хэш-фрагмент. Снимок HTML – это все содержание, отображаемое на странице после выполняемого кода JavaScript.
3. Поисковые системы индексируют снимок HTML и обслуживают исходные URL AJAX в своих результатах поиска.

www.google.com/support/webmasters/bin/answer.py?hl=ru&answer=174992

Comments

[Fr3nzy]

Меня не индексация сайта беспокоит. Ибо он итак будет без проблем индексироваться любой ПС (я в посте выше написал, что он работает даже с полностью отключенным JS'ом). Меня беспокоит вопрос о внешних ссылках на него.

[4elentano]

Видимо не понял вопроса. Ответ там же ниже:

Предположим, нужно внести в индекс следующий URL: www.example.com/index.html#!mystate. С вашей стороны требуется предоставить поисковому роботу снимок HTML для данного URL, чтобы можно было проиндексировать его содержание. Как сервер узнает, когда надо отобразить снимок HTML, а не обычную страницу? Ответ заключается в URL, по которому производит запрос поисковый робот. Он изменяет каждый URL AJAX на временный (например, www.example.com/ajax.html#!mystate становится www.example.com/ajax.html?_escaped_fragment_=mystate).

Исходя из того как гугл обрабатывает такие урлы можно понять на какие именно страницы он будет ссылаться при обработке ссылок на ваши страницы.

[Fr3nzy]

Гугл, это, конечно, хорошо. Он это — не единственная ПС. Если ответом на мой вопрос является «Да, у тебя проблема со внешними ссылками», то тут уже остается говорить с самой командой проекта (так ли важны в прокачке PR'а и т.п. ссылки пользователей или основную важность составляют ссылки самих SEO-оптимизаторов, например).

[4elentano]

Ну вообще пренебрегать внешними ссылками на целевые страницы не стоит, если проблема популяризации ресурса не последняя.

Можно на мой ответ посмотреть по-другому — хотя бы Гугл их будет учитывать, если все правильно настроено, что уже неплохо.

[Fr3nzy]

Ясно. Ну, если что, всегда остаются HTML5-браузеры, в которых уже с аяксом и хистори все окей. Спасибо.

Answer 2

[xanep]

Для поисковика ссылка с 301 редиректом значит то же, что и прямая. Вам нужно сделать, чтоб краулеры при переходе по "/#page/about" редиректились с кодом 301 на "/page/about" (или наоборот). И всё будет отлично.

Comments

[Fr3nzy]

Т.е., если краулер наткнется на ссылку example.com/#page/about, то он перейдет на нее и, при этом, сам хеш никуда не пропадет?

[xanep]

Что означает «сам хеш никуда не пропадет»?

[Fr3nzy]

Хеш — это то, что после символа "#". Просто, я читал, что поисковики на него внимания не обращают. Вот и интересно, при переходе по такой ссылке ПС отбросит хеш или нет?

[xanep]

Ну как он может его отбросить. Для него это просто урл. А как уже вы его интерпретируете — где там хеш, а где еще что-то — это его не касается. Поисковик запросил урл1, вы отдали ему какую-то страницу, запросил урл2 и если вы отдали ту же самую страницу, то это плохо, дублирование контента. А если урл1 редиректит на урл2, то все ОК. Из урл краулер ничего не может сам отбрасывать, у него нет для этого нужной информации.

[xanep]

А, подождите, # обозначает якорь в документе. Документ в урл — это всё, что до #.
Т.е. выходит для поисковика "/#page/about" это то же, что и "/"

[xanep]

Простите, что я не сразу заметил в чем у вас проблема и что вы называете хешем.
Вот здесь эта тема обсуждалась.

[Fr3nzy]

Ммм… что-то я не вижу там об этом ничего :) или, решением в данном случае следует считать создание кнопки «Link to this page»?

[xanep]

там в комментариях обсуждали
habrahabr.ru/blogs/webdev/13355/#comment_224242

[andoriyu]

Как это отбросит? shebang это рекомендация от гугла — code.google.com/web/ajaxcrawling/

[andoriyu]

Всмысле, что не тупо отбросит, а приделает в GET параметр. Я как понимаю вам надо 301 редирект на /page/about с /?_escaped_fragment_=page/about.
Как-то так.

[Fr3nzy]

Он не отбросит только в том случае, если используются "#!". В данном случае используется обычный "#". Плюс ко всему, как говорится, не гуглом единым…
Получается, что единственным решением остается поддержка фулл-аякса только в HTML5?

[andoriyu]

Ну почему же, можно перейти на "#!". Теперь у меня бугурт.

Answer 3

[denver]

> А при переходе по этой ссылке сервер автоматически редиректит с "/#page/about" -> "/page/about"
Я могу ошибаться, но фиг сервер узнает про все что после #, в REQUEST_URI будет только то что до него.

Comments

[Fr3nzy]

Да, что-то я про это забыл. Ну тогда остается два варианта: делать редирект через JS (что для ПС вообще уже не имеет значения) или не делать его вовсе.

Answer 4

[andoriyu]

Гугл знает — code.google.com/web/ajaxcrawling/

Comments

[Fr3nzy]

Посмотрите чуть по-выше я комментарий оставил на ваш ответ.