Исполняют ли поисковые роботы javascript?

Question

[someden]

Могут ли поисковые роботы исполнять javascript?
Какой javascript роботы не могут исполнить?
Индексируют ли поисковики контент загруженный на страницу с помощью AJAX?

P.S. Сеошники дали задание скрыть некоторый контент от поисковиков, noindex и rel='nofollow' их не устраивают (говорят поисковики их тоже учитывают), поэтому решил формировать контент с помощью скриптов.

Answer 1

[barkalov]

На словах вроде бы да. По факту - нет. Я проверял.
Может на какие-то высокорейтинговые сайты и заходят особые роботы, которые умеют js, но стандартный гуглбот не умеет даже jQuery.load()

Я решил проблему с помощью prerender.io и escaped fragment.

Comments

[someden]

Мне как раз и надо чтобы не исполняли)

[AxisPod]

Ну так защитите себя настройкой провил, если в User-Agent содержится слово bot не отдавайте ему скрипты.

[Оптимус Пьян]

@AxisPod а как это сделать? В htaccess есть директивы в зависимости от User-Agent?

[barkalov]

Везет вам. Мне надо было, чтоб исполняли. )

PS: Хмм, полез за пруфом и оказалось, что таки проиндексировал мои тесты Google. Правда, спустя месяц. Но, крайне странно: в закешированной цитате с сайта результата работы скрипта нет, однако результат сам по себе гуглится.

Сам тест:
barkalov.ru/crawltest/mode2.html

Проверка индексации статики:
https://www.google.ru/webhp?sourceid=chrome-instan...

Проверка индексации работы скрипта (здесь проиндексировалось):
https://www.google.ru/webhp?sourceid=chrome-instan...

Проверка цитирования проиндексированного (а здесь не проиндексировалось, видно по цитате из кеша):
https://www.google.ru/webhp?sourceid=chrome-instan...

Странно-странно.

Answer 2

[Lisonok]

help.yandex.ru/webmaster/recommendations/frequent-...

Наиболее распространенным способом размещения ссылки является HTML тег < A >. Но существуют и другие способы навигации между страницами. Например, можно использовать технологии JavaScript или Flash. Робот Яндекса не переходит по таким ссылкам, поэтому следует дублировать ссылки, реализованные при помощи скриптов, обычными текстовыми ссылками.

Answer 3

[Сергей Протько]

Да, но в довольно примитивной манере так что лучше думать что нет.

Answer 4

[aldous]

Могут ли поисковые роботы исполнять javascript?
Какой javascript роботы не могут исполнить?

Однозначно нельзя сказать, что этот скрипт поисковик видит так, а другой вот так.
Вы можете самостоятельно проверить, как Google распознаёт действие скриптов, воспользовавшись функцией "Посмотреть как Googlebot". Разумеется, скрипты должны быть открытыми для сканирования.

Индексируют ли поисковики контент загруженный на страницу с помощью AJAX?
Сайты, использующие AJAX
Сканирование AJAX. Руководство для разработчиков и...