Что запрещать в robots.txt?

Question

[Kaz52]

Есть сайт на хостинге. Лежит в /www/сайт.com/index.html
Вопросы.
Что нужно запретить индексировать?
Перед папкой www папки по типу logs, tmp и т.д. Их нужно запрещать индексировать ?
В папке сайт.com есть папки css, js, img, fonts и файл .htaccess. Нужно запрещать или нет ?

Answer 1

[Дмитрий Дарт]

Перед папкой www папки по типу logs, tmp и т.д. Их нужно запрещать индексировать ?

Нет

В папке сайт.com есть папки css, js, img, fonts и файл .htaccess. Нужно запрещать или нет ?

Нет

Запрещать индексировать нужно каталоги со страницами, которые вы не хотели бы что бы попали в индекс

Answer 2

[Пума Тайланд]

Ничего из этого запрещать не надо, как вы такие глупости выдумали?

Answer 3

[Андрей Кусков]

Обычно запрещают к индексированию технические разделы сайта, например, админку. Через Я.Вебмастер в разделе индексация вы можете посмотреть, какие страницы находит робот и считает их некачественными и малополезными, а дальше уже решать вам - закрывать их или дорабатывать.

Стили и скрипты поисковые системы уже учатся обрабатывать, так что закрывать их не нужно. Пару лет назад я снял видеовыпуск по настройке robots.txt, советую посмотреть. Прольет свет на многие моменты: https://www.youtube.com/watch?v=xtxuWCzkyL0