@Alex-Broudy

Как запретить индексацию только группы страниц в robots.txt?

Приветствую!

Подскажите пожалуйста, как правильно закрыть от индексации

есть страницы такого вида:
https://example.com/city/название-города/products/product-1

/название-города/ - городов больше 400

city - должно быть открыто
название-города - должно быть закрыто
products - должно быть открыто, но все, что после products должно быть закрыто от индексации

при этом страницы product-1 могут иметь произвольные названия, т.е. вместо product-1 может быть portrets или bukets или все что угодно
  • Вопрос задан
  • 180 просмотров
Решения вопроса 1
igorux
@igorux
city - должно быть открыто


Allow: /city/$

название-города - должно быть закрыто

Сделайте общую подстроку в конце url для этих страниц, например, /city/название-города/city-info/
Тогда получится:
Disallow: /city/*/city-info/$

products - должно быть открыто, но все, что после products должно быть закрыто от индексации

Allow: /city/*/products/$
Disallow: /city/*/products/*
#/city/*/products/ подходит под оба условия, будет выбрана директива Allow
Ответ написан
Пригласить эксперта
Ответы на вопрос 1
@Alex-Broudy Автор вопроса
и если мне необходимо позже открыть для индексации все что идет до products, включая products, но закрыть все что идет после products, это должно выглядеть так?

Allow: /city/$
Disallow: /city/*/products/*
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы