Как правильно настроить robots?

Question

[adrenalinruslan]

Ребят, как правильно настроить robots.txt ?

Я хотел бы чтобы роботы могли лишь заходить на след ссылки и все, а на другие не обращали внимание:

https://test.ru/

/help
/catalog/1 - и тд
/product/1 - и тд

А чтобы в

/main/user/administration/login
/main/user/administration/settings
/main/user/administration/logout и тд

Не имел доступ

Answer 1

[igorux]

Можно всё по умолчанию запретить, а потом разрешать, что захочется. А можно наоборот.

Раз:
Allow: /help
Allow: /catalog/
Allow: /product/
#разрешили разрешённое
Disallow: / #запретили остальное

Два:
Allow: / #разрешили всё
Disallow: /main/user/administration/ #запретили запрещённое

Совместное использование директив

Answer 2

[Александр]

для гугла эти опции носят рекомендательный характер, если по этим адресам что-то попало в индекс, или есть внешняя ссылка, эти адреса будут просканированы все равно.
Для того что бы закрыть от робота в теле страницы должно быть прописано в метатеге запрет, либо заголовок HTTP с запретом, либо ответ 401 - это запрос пароля, или 403/404/410