Как запретить в robots индексацию поисковиками страниц каталога кроме первой, чтобы не индексировало 2,3,4 и т.д. страницы?

Question

[tamweb]

Как запретить в robots индексацию поисковиками страниц каталога кроме первой, чтобы не индексировало 2,3,4 и т.д. страницы?
Вот каталог https://tinyurl.com/yax4nj45
Вот вторая страница https://tinyurl.com/yd4wr5sk

Что нужно и как прописать?

Цель: чтобы в поиске яша не выдавал страницы листинга, а только конкретные товары и первую страницу с СЕО текстом.
Но в тоже время сами товары конечно оставить для индексации.

Comments

[tamweb]

Цель: чтобы в поиске яша не выдавал страницы листинга, а только конкретные товары и первую страницу с СЕО текстом.
Но в тоже время сами товары конечно оставить для индексации.

Answer 1

[Михаил Носов]

Надо прописать строку
Disallow: *?page=

Но я не рекомендую так делать, ведь роботы перестанут посещать эти страницы... не будут с этих страниц переходить сканировать товары и прочие ссылки.
Надо просто правильно настроить пагинацию, и пусть роботы везде гуляют.

Иногда указывают канонический адрес для всех страниц на первую

<link rel="canonical" href="http://orac.ru/lepnina/karnizy/">

Это в 100 раз лучше, чем запрет в файле robots.txt, но гугл рекомендует канонический адрес писать правильно на каждую страницу пагинации и добавлять метатеги rel NEXT и PREV, для связки страниц одной тематике и для указания следующей и предыдущей страницы.
При этом рекомендую SEO текста убрать со всех страниц, кроме первой (настраивается программно в коде). Ну и метатегу Title ещу добавлять надпись "страница 2", "страница 3" и т.д., тогда вообще идеально и закрывать не надо.