Что будет в случае, если запретить в robots.txt к индексации файлы JS?

Question

[weranda]

Приветствую.
Интересно, а что-то плохое для сайта с точки зрения может произойти, если заблокирован JS файл, который участвует в формировании/обработке страницы?

Answer 1

[Дмитрий]

Гугл однозначно будет ругаться и просить открыть запрещенный в robots контент.

Answer 2

[Алексей Уколов]

Ничего не будет.
Робот, который умеет выполнять js, (почти наверняка) не смотрит в robots.txt, когда генерирует страницу.
Робот, который смотрит в robots.txt умеет только делать простые http-запросы и если он не получит js-файл, с которым он и так ничего не сможет сделать, ничего страшного не случится.

UPD: Хотя, похоже, я не прав, потому что документация Google явно говорит, что не стоит запрещать, если не уверены:

При помощи файла robots.txt вы можете запретить сканирование таких файлов, как вспомогательные изображения, скрипты и файлы стилей, если считаете, что они лишь в незначительной степени влияют на оформление страниц. Однако не следует блокировать доступ к ним, если это может затруднить поисковому роботу интерпретацию контента. В противном случае страницы могут быть проанализированы неправильно.

Comments

[weranda]

Спасибо, успокоили малость.
Я думал, что работающий по всем правилам робот, к примеру, робот Google при парсинге и последующем рендеринге страницы учитывает все параметры и по этой причине может некорректно отрендерить страницу и оценить ее.

[Алексей Уколов]

Вопрос только один - чего вы хотите добиться, запрещая индексацию?

[weranda]

Алексей Уколов, Я не хочу запрещать индексацию. Просто так сложилось, что в код сайта было добавлено некое расширение, файлы JS которого разместились в папке, запрещенной к индексации. Перемещать эти файлы JS в другое место, да и другие файлы расширения, это значит чуть поломать работу и последующее обновления расширения. Открыть же для индексации файлы JS этого расширения, использующиеся на фронте, нет проблемы, но только как-то они будут странно смотреться в файле robots.txt. Раньше такого не встречал — чтобы файлы JS добавлялись на индексацию в этот файл.

Answer 3

[Пума Тайланд]

Да печаль будет, жс уделяют многие и давно, в целом какой смысл запрещать его? Ну кроме идиотизма

Answer 4

[Виктор Петров]

Что будет?
Криво обработанная вёрстка, жалобы, что сайт не оптимизирован под смартфоны - если, конечно, JS в вёрстке используется (а где сейчас не используется?).
А если какой-то контент средствами JS выводится или обновляется - то его робот не увидит и не учтёт в расчётах.
Стоит пристально изучить, какие JS однозначно стоит роботам показывать, а без каких они могут и обойтись, чтобы не грузить железяку ненужным. Я, к примеру, обычно разрешаю для сканирования все JS скопом.