@Rus_K_o
Веб программист

Можно ли сначала закрыть от индексации все страницы и потом включить только некоторые?

Будет ли верен такой robots.txt?
User-agent: *
Disallow: /
Allow: /price/
Allow: /contacts

Тут будут конфликты или для робота строка ниже будет в приоритете?
И как в таком случае разрешить для индексации главную страницу, которая находиться по адресу http://domen.ru/?

P.S.Знаю про сервисы проверки, но в инете не нашел инфу по этому вопросу. Пусть тут лежит мануал в виде ваших ответов).
  • Вопрос задан
  • 39 просмотров
Решения вопроса 1
igorux
@igorux
Смотрите шпаргалку Яндекс.Вебмастера:
******
Директивы Allow и Disallow из соответствующего User-agent блока сортируются по длине префикса URL (от меньшего к большему) и применяются последовательно. Если для данной страницы сайта подходит несколько директив, то робот выбирает последнюю в порядке появления в сортированном списке. Таким образом, порядок следования директив в файле robots.txt не влияет на использование их роботом.

При конфликте между двумя директивами с префиксами одинаковой длины приоритет отдается директиве Allow.
******
Ответ написан
Комментировать
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы