Robots.txt Как закрыть третий уровень вложенности для всех страниц кроме страниц пагинации?

Question

[format_iai]

Приветствую
На сайте категории и посадочные страницы имеют вид:
https://site.ru/catalog/чпу-страницы

Страницы погинации имеют вид:
https://site.ru/catalog/чпу-страницы/page-НОМЕР_СТ...

Подскажите как правильно закрыть в роботс страницы вида:
https://site.ru/catalog/чпу-страницы/чпу-параметро...
https://site.ru/catalog/чпу-страницы/чпу-параметро...
https://site.ru/catalog/чпу-страницы/чпу-параметро...
...

Пока дошел до такого варианта:
Allow: /catalog/*/page-*
Disallow: /catalog/*/*
Но в таком случае пагинации с параметрами фильтрации также остается открытой. Заранее спасибо

Answer 1

[Дмитрий]

Не совсем понятен ваш вопрос. Собственно, этот вариант Disallow: /catalog/*/* их все и закрывает.

А вариант Allow: /catalog/*/page-* оставляет для индексации страницы с обычной пагинацией. Что не так?

Comments

[format_iai]

Вариант Allow: /catalog/*/page-* также открывает ссылки вида хттпс://site.ru/catalog/чпу-страницы/ЧПУ-Параметров/page-1, ссылки с чпу параметров нужно закрыть...

[Дмитрий]

Сложно сказать. Вам, может, стоит пойти следующим путем. Вам стоит отделить урл страниц пагинации фильтров и обычных страниц. Скажем, одни будут page-1, а вторые page1.

Можете закрыть страницы пагинации не в robots.txt, а метатегом robots. Это зависит от вашего движка.

[format_iai]

Дмитрий,
Можете закрыть страницы пагинации не в robots.txt, а метатегом robots - да, сейчас так закрыто, но на сайте включен обход по счетчикам а параметры в урл можно сменить в админке (не вижу смысла это контролировать, контентщик часто меняет чпу свойств) и соответственно часто яндекс выдает 404 на такие страницы. Не может попасть на страницу что бы узнать что ее не нужно индексировать.

Сделаю через page-1 и page1, спасибо за наводку