Как запретить индексацию только группы страниц в robots.txt?

Question

[Alex-Broudy]

Приветствую!

Подскажите пожалуйста, как правильно закрыть от индексации

есть страницы такого вида:

https://example.com/city/название-города/products/product-1

/название-города/ - городов больше 400

city - должно быть открыто
название-города - должно быть закрыто
products - должно быть открыто, но все, что после products должно быть закрыто от индексации

при этом страницы product-1 могут иметь произвольные названия, т.е. вместо product-1 может быть portrets или bukets или все что угодно

Comments

[SagePtr]

Как вариант, для нужных страниц можно использовать мета-тэг robots

Answer 1

[igorux]

city - должно быть открыто

Allow: /city/$

название-города - должно быть закрыто

Сделайте общую подстроку в конце url для этих страниц, например, /city/название-города/city-info/
Тогда получится:
Disallow: /city/*/city-info/$

products - должно быть открыто, но все, что после products должно быть закрыто от индексации

Allow: /city/*/products/$
Disallow: /city/*/products/*
#/city/*/products/ подходит под оба условия, будет выбрана директива Allow

Comments

[Alex-Broudy]

igorux , т.е. мне нужно будет прописать в таком порядке?

Allow: /city/$
Allow: /city/*/products/$
Disallow: /city/*/products/*

или так:
Allow: /city/*/products/$
Disallow: /city/*/products/*

[igorux]

Порядок — произвольный.
$ — знак конца строки (url).
Allow: /city/$ — разрешает индексировать /city/.

Allow: /city/*/products/$ — разрешает индексировать /city/название-города/products/
Disallow: /city/*/products/* — запрещает индексировать /city/название-города/products/+любой набор симовлов, в том числе пустой.
Поэтому страница /city/название-города/products/ подходит под обе директивы, в таких случаях поисковик выбирает Allow.

[Alex-Broudy]

igorux , большое спасибо за помощь!

[igorux]

Собственно, в директиве Disallow: /city/*/products/* последний символ * — лишний, без него она означает то же самое. Я его обычно для себя добавляю, чтобы не забыть, что после завершающего слэша что-то ещё может быть.

Answer 2

[Alex-Broudy]

и если мне необходимо позже открыть для индексации все что идет до products, включая products, но закрыть все что идет после products, это должно выглядеть так?

Allow: /city/$
Disallow: /city/*/products/*

Comments

[igorux]

Allow: /
Disallow: /*/products/*
Allow: /*/products/$