Надо ли закрывать пагинатор от индексирования?

Question

[Александр Владимирович]

На сайте есть раздел новостей с постраничной навигацией,
/news - главная
/news/page/1 - 301 редирект на главную страницу раздела /news
/news/page/2 - и т.д. другие страницы
/news/page/3
...
/news/page/100500

надо ли на все страницы раздела, кроме главной поставить

<meta name="robots" content="noindex, follow" /> ?

Answer 1

[entermix]

В дополнение к ответу Илья Белобородов , рекомендации Яндекса:

Что делать со страницами пагинации и сортировки товаров?

Если в какой-либо категории на вашем сайте находится большое количество товаров, могут появиться страницы пагинации (порядковой нумерации страниц), на которых собраны все товары данной категории. Если на такие страницы нет трафика из поисковых систем и их контент во многом идентичен, то советую настраивать атрибут rel="canonical" тега на подобных страницах и делать страницы второй, третьей и дальнейшей нумерации неканоническими, а в качестве канонического (главного) адреса указывать первую страницу каталога, только она будет участвовать в результатах поиска.
Например, страница сайт.рф/ромашки/1 - каноническая, с неё начинается каталог, а страницы вида сайт.рф/ромашки/2 и сайт.рф/ромашки/3 - неканонические, в поиск их можно не включать. Это не только предотвратит возможное дублирование контента, но и позволит указать роботу, какая именно страница должна находиться в выдаче по запросам. При этом ссылки на товары, которые находятся на неканонических страницах, также будут известны индексирующему роботу.
Часто вместо пагинации сайты используют динамическую прокрутку, когда для посетителя, пролиставшего каталог до определённого момента, с помощью JavaScripts загружаются другие товары в данной категории. В такой ситуации необходимо проследить, чтобы весь контент таких страниц отдавался индексирующему роботу (например, с помощью инструмента в Яндекс.Вебмастере), либо чтобы роботу становилась доступна статическая пагинация товаров.

Вторая часть вопроса связана со страницами сортировки, например, по цене, популярности или характеристикам. Чтобы разобраться с этой частью, необходимо понять, нужны ли такие страницы в результатах поиска, отвечают ли они в полной мере на запросы пользователей. Если страницы не отвечают на запросы пользователей поисковой системы, их лучше закрыть с помощью соответствующих правил в Вашем robots.txt, оставив для посещения роботом только действительно необходимые страницы.

https://yandex.ru/blog/platon/2878

Так же рекомендую почитать эту статью:
https://seoprofy.ua/blog/optimizaciya-sajtov/pagin...

Comments

[Александр Владимирович]

В указанной вами статье как раз в 1 очередь рекомендуется поставить метатег, как в вопросе.

[entermix]

Александр Владимирович,

Заключение

В итоге наши рекомендации по решению проблемы с пагинацией:

если у вас есть техническая возможность сделать страницу “Смотреть всё” и такие страницы быстро грузятся и не очень большие по размеру, то можно воспользоваться этим вариантом, так как его рекомендует Google, а Яндекс понимает директиву rel=”canonical”
но, наверное, в большинстве случаев оптимальным будет сочитания варианта использования атрибута rel=”next/prev” (понимает Google) и мета-тега robots=”noindex,follow” (понимает и Google, и Яндекс)

Answer 2

[Илья Белобородов]

Лучше так

<link rel="prev" href="http://www.example.com/page-1.html">
<link rel="next" href="http://www.example.com/page-3.html">

support.google.com

Comments

[Александр Владимирович]

По ссылке написано что так надо разбивать на страницы один большой материал, а у меня новости не связаны между собой. А также страницу "Показать все" сделать не получится, потому что новостей в этих страницах около 30000

[Антон]

Александр Владимирович, Один большой материал - это и есть листинг ваших новостей. Вы же не можете показать 100500 блоков новостей на одной странице, поэтому используется пагинатор.
Пагинатор закрывать не нужно:
Для гугла надо проставить это, что написал Илья Белобородов , и плюс надо проставить каноническую страницу - страница, которая является первой

[entermix]

Александр Владимирович,

Содержание сайта может разбиваться на страницы по-разному. Пример:
...
На торговых сайтах списки товаров в категориях, содержащих большое количество элементов, разделяются на несколько страниц.
...