@ruslanbm29

Как запретить в robots.txt индексацию страниц навигации?

Здравствуйте возможно ли запретить к индексации страницы с навигацией которые имеют вид
Например
/ru/msk/vrachi/?page=1
/ru/msk/vrachi/?page=2
/ru/msk/clinic/?page=1
/ru/novosibirsk/clinic/?page=4
/ru/novosibirsk/vrachi/?page=2
/ru/novosibirsk/vrachi/venerologi/?page=15
/ru/novosibirsk/vrachi/ginekology/?page=32

Проблема в том что категорий и городов на сайте много. Но все навигационные страницы заканчиваются на "?page={Номер страницы}"
Я заранее предусмотрел что бы эти страницы не попали в выдачу. У меня изначально стоит тег на страницах с навигацией запрещающий индексацию

<meta name="robots" content="noindex">

Но каким то боком робот Яндекса всеравно собрал страницы навигации, проиндексировал, и по ним даже был трафик а через пару месяцев наконец-то начал выплевывать навигационные страницы с формулировкой в Вебмастере "запрещена к индексации" и посещаемость начала падать именна та которая была на эти навигационные страницы.. Т.е тег meta - как то неправильно работает. Поэтому нужны решения на уровне robots.txt

По самим страницам пускай робот ходит, потому что на них списки врачей для индексации.
Но пусть в выдачу навигационные страницы не добавляет.
  • Вопрос задан
  • 193 просмотра
Решения вопроса 1
iResource
@iResource
Разработчик IR XML2Ozon
Disallow: /*?page=

Но чаще - наоборот, robots могут игнорировать, а вот meta более значим.
Ответ написан
Пригласить эксперта
Ответы на вопрос 2
Grinvind
@Grinvind
Помогаю увеличивать трафик с поисковых систем
Закрывая в роботсе пагинацию вы ограничиваете перелинковку и пониманием поисковиком вашего ассортимента на листингах. Так что клин парам вам в помощь, и никакого роботса.
Ответ написан
Комментировать
@Eugeny1987
Работаю с HostCMS
Настройте rel="canonicle" для страниц пагинации
https://vc.ru/seo/72710-atribut-rel-canonical
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы