Как закрыть все страницы от индексации где есть page?

Question

[Xyyax]

Предположим, есть сайт - site.ru
И есть такие страницы
site.ru/shop/page/2/
site.ru/catalog/specilnioe-predlozhenie/page/2/

Как закрыть все страницы где есть page через robots.txt?
Сайт на wordpress

Answer 1

[Антон Шаманов]

https://yandex.ru/support/webmaster/robot-workings...

Comments

[Xyyax]

Уже читал, но видимо что-то неправильно пишу и не получается убрать индексацию

[Антон Шаманов]

Xyyax, сомневаюсь

Answer 2

[Сергей Арсентьев]

ну я бы типа такого добавил:
disallow: */page/*

Потом проверил бы в инструменте роботса (в панели вебмастера) - загрузил url - страница должна быть исключена. Потом ждать N дней, в зависимости от настроек индексирования.

p.s. важно помнить, что поисковик несмотря ни на какие запреты, может индексировать любые страницы какие захочет и выдавать в поиске на своё усмотрение.