@DocTypeMaster

Как сделать доступ поисковым роботам только на то, что нужно в robots.txt?

Много читал статей по написанию файла robots.txt, но так и не понял. Мне было бы легче запретить всё, кроме тех страниц, что я укажу. Как лучше это сделать?
  • Вопрос задан
  • 24 просмотра
Пригласить эксперта
Ответы на вопрос 1
@programmer403
Что конкретно Вам не понятно? Везде написано одно и тоже:

disallow
Директива disallow определяет конкретные пути, которые должны быть недоступны указанным поисковым роботам. Если путь не указан, она игнорируется.

Использование:
disallow: [path]

allow
Директива allow определяет пути, которые должны быть доступны указанным поисковым роботам. Если путь не указан, она игнорируется.

Использование:
allow: [path]

запретить ВСЕ кроме тех страниц что я укажу
:
allow: /url-1.html
allow: /url-2.html
allow: /2020-08-28/*
disallow: /

Вот вам для примера указываем полный путь на страницу в allow, вот она и будет разрешена,
allow: /2020-08-28/* - все страницы в этой папке будут разрешены для индексации,
disallow: / - Запретить ВСЕ
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
Enjoy PRO Санкт-Петербург
от 170 000 до 230 000 ₽
ManyChat Москва
от 180 000 ₽
19 сент. 2020, в 17:57
900 руб./за проект
19 сент. 2020, в 17:42
500 руб./за проект