Что написать в файле robots.txt для Modx?

Question

[Александра Нев]

Возник вопрос, как должен выглядеть правильный файл robots.txt для modx? На всех ресурсах написано, что надо закрывать от индексации эти каталоги, то есть так:
User-agent: *
Disallow: /manager/
Disallow: /assets/components/
Disallow: /core/
Disallow: /connectors/
Disallow: /index.php
Disallow: *?

Но, если в целях безопасности директории manager, core, connectors были переименованы, какой смысл был изменять их названия, если эти названия затем прописывать в robots.txt? Что тогда указать в robots.txt и как закрыть ненужные для seo директории от индексации?

Answer 1

[Яна Митрофанова]

В этих строках:
Disallow: /core/
Disallow: /assets/components/
Disallow: /connectors/
Нет смысла, т.к. если права настроены правильно, они итак выдают 403.

Добавить:

Host: site.com
Sitemap: site.com/sitemap.xml

Answer 2

[zooks]

Если переименованы, то в robots.txt их не следует указывать.

Эту строку лучше тоже удалить, ведь часть стилей может читаться из директории с компонентами.
Disallow: /assets/components/

Comments

[Александра Нев]

Да, спасибо за ответ. Но ведь тогда поисковые боты начнут индексировать этот контент, вот в чем загвоздка

[zooks]

Александра Нев, не начнут

Answer 3

[Андрей Швед]

Файл можно создать через генератор capyba.ru/services/tools/robots/