Как запретить в robots.txt индексацию страниц навигации?

Question

[ruslanbm29]

Здравствуйте возможно ли запретить к индексации страницы с навигацией которые имеют вид

Например
/ru/msk/vrachi/?page=1
/ru/msk/vrachi/?page=2
/ru/msk/clinic/?page=1
/ru/novosibirsk/clinic/?page=4
/ru/novosibirsk/vrachi/?page=2
/ru/novosibirsk/vrachi/venerologi/?page=15
/ru/novosibirsk/vrachi/ginekology/?page=32

Проблема в том что категорий и городов на сайте много. Но все навигационные страницы заканчиваются на "?page={Номер страницы}"
Я заранее предусмотрел что бы эти страницы не попали в выдачу. У меня изначально стоит тег на страницах с навигацией запрещающий индексацию

<meta name="robots" content="noindex">

Но каким то боком робот Яндекса всеравно собрал страницы навигации, проиндексировал, и по ним даже был трафик а через пару месяцев наконец-то начал выплевывать навигационные страницы с формулировкой в Вебмастере "запрещена к индексации" и посещаемость начала падать именна та которая была на эти навигационные страницы.. Т.е тег meta - как то неправильно работает. Поэтому нужны решения на уровне robots.txt

По самим страницам пускай робот ходит, потому что на них списки врачей для индексации.
Но пусть в выдачу навигационные страницы не добавляет.

Answer 1

[Alexey Gnevyshev]

Disallow: /*?page=

Но чаще - наоборот, robots могут игнорировать, а вот meta более значим.

Comments

[Alexey Gnevyshev]

Лентюй, ага, рассказывайте )

[Alexey Gnevyshev]

Лентюй, ой, некрасивый намек на прямоту рук.
Не только руки надо иметь, но и опыт, друг мой.
"Проиндексировано, несмотря на блокировку в robots.txt" - не сталкивались ли с таким статусом?
Если нет, то, пожалуйста, не пытайтесь завышать свою экспертность.
А если да - то какие ещё могут быть вопросы!

[Alexey Gnevyshev]

Просто я по наивности надеялся, что Google Search Console показывает данные только от "легальных" ботов :)

[Legal Adviser]

Яндексу по фиг на закрытие Disallow: /*?page= уж точно, т.к вижу регулярно в вебмастере что-то типа - страница

/ru/msk/vrachi/?page=1

не имеет описания или одинаковое описание, Неканоническая.

[Alexey Gnevyshev]

Legal Adviser, в общем-то об этом я и написал выше, что поисковики могут позволять себе игнорировать правила из роботс.

[Legal Adviser]

Alexey Gnevyshev, я подтвердил ))

[ruslanbm29]

Кстати, а стоит ли для страниц навигации указывать каноническую страницу на начало раздела?
Например на

/ru/msk/vrachi/?page=1

канонической будет

/ru/msk/vrachi/

Стоит ли так делать?

[Alexey Gnevyshev]

ruslanbm29, стоит, да. Особенно, если они Вам не нужны в выдаче.

Answer 2

[Евгений]

Настройте rel="canonical" для страниц пагинации
https://vc.ru/seo/72710-atribut-rel-canonical

Answer 3

[Александр Денисов]

Закрывая в роботсе пагинацию вы ограничиваете перелинковку и пониманием поисковиком вашего ассортимента на листингах. Так что клин парам вам в помощь, и никакого роботса.