Как сделать доступ поисковым роботам только на то, что нужно в robots.txt?

Question

[DocTypeMaster]

Много читал статей по написанию файла robots.txt, но так и не понял. Мне было бы легче запретить всё, кроме тех страниц, что я укажу. Как лучше это сделать?

Answer 1

[Eugene]

Что конкретно Вам не понятно? Везде написано одно и тоже:

disallow

Директива disallow определяет конкретные пути, которые должны быть недоступны указанным поисковым роботам. Если путь не указан, она игнорируется.

Использование:
disallow: [path]

allow

Директива allow определяет пути, которые должны быть доступны указанным поисковым роботам. Если путь не указан, она игнорируется.

Использование:
allow: [path]

запретить ВСЕ кроме тех страниц что я укажу

:

allow: /url-1.html
allow: /url-2.html
allow: /2020-08-28/*
disallow: /

Вот вам для примера указываем полный путь на страницу в allow, вот она и будет разрешена,
allow: /2020-08-28/* - все страницы в этой папке будут разрешены для индексации,
disallow: / - Запретить ВСЕ