Задать вопрос
@Alex-Broudy

Как запретить индексацию только группы страниц в robots.txt?

Приветствую!

Подскажите пожалуйста, как правильно закрыть от индексации

есть страницы такого вида:
https://example.com/city/название-города/products/product-1

/название-города/ - городов больше 400

city - должно быть открыто
название-города - должно быть закрыто
products - должно быть открыто, но все, что после products должно быть закрыто от индексации

при этом страницы product-1 могут иметь произвольные названия, т.е. вместо product-1 может быть portrets или bukets или все что угодно
  • Вопрос задан
  • 205 просмотров
Подписаться 1 Простой 1 комментарий
Решение пользователя igorux К ответам на вопрос (2)
igorux
@igorux
city - должно быть открыто


Allow: /city/$

название-города - должно быть закрыто

Сделайте общую подстроку в конце url для этих страниц, например, /city/название-города/city-info/
Тогда получится:
Disallow: /city/*/city-info/$

products - должно быть открыто, но все, что после products должно быть закрыто от индексации

Allow: /city/*/products/$
Disallow: /city/*/products/*
#/city/*/products/ подходит под оба условия, будет выбрана директива Allow
Ответ написан