Как исключить списочные разделы из индексирования поисковиками?

Question

[unclechu]

На любом типичном сайте как правило присутствуют те или иные списочные разделы, самое банальное, — новости. Есть страница со списком новостей, на которой есть пагинация в том или ином виде (уже получается несколько страниц), есть множество детальных страниц отдельно взятых новостей. Пагинация как правило в привычных своих проявлениях смещает контент на странице новыми элементами, то-есть через какое-то время в списке уже не будет тех новостей, которые были там ранее (они будут на другой странице). Смысла индексировать сам список новостей смысла особого не представляет, как семантически, так и потому, что возможно, когда юзер придёт туда по поиску, он уже не обнаружит там той информации, которая была там совсем недавно, но имеет смысл индексировать детальные страницы этих новостей. Как объяснить поисковиками, чтобы ходить по ссылкам со списочных разделов, но сами эти списочные страницы исключить из результатов поиска?

Answer 1

[Nikita Tarasov]

Сделайте автоматическую перелинковку на детальных страницах с новостями - например,
Предыдущая новость (ссылка на новость, которая была раньше текущей) и Следующая новость (ссылка на новость, которая была позже текущей) - нужно, чтобы поисковые роботы могли переходить по страницам новостей

Динамическую XML карту сайта тоже желательно реализовать (в ней должны отсутствовать страницы пагинации новостей)
Страницы пагинации новостей закройте правилом через robots.txt - главное, чтобы не было запрета на индексацию детальных страниц новостей
Проверку корректности robots можно проверить здесь

Answer 2

[Vladimir Abramov]

https://ru.wikipedia.org/wiki/%D0%A1%D1%82%D0%B0%D...

Потом
https://help.yandex.ru/webmaster/controlling-robot...
https://support.google.com/webmasters/answer/60626...

Answer 3

[Андрей Липатцев]

Только помните, что robots.txt управляет доступом, то есть сканированием, а не индексированием. Проиндексировать URL можно и не заходя на него, хотя информации о содержании страницы у о поисковика тогда не будет.
Конечно, же пользуйтесь robots.txt, но для исключения индексирования (как превентивного, так и пост-фактум) для Google лучше всего использовать метатег noindex. Кроме того полезно ознакомиться с разделом Параметры URL в WMT.

Answer 4

[Глюкъ Виртуален]

Глупости это все и от лукавого.
Достаточно будет обрамить ненужное тегом noindex

Answer 5

[icetomcat]

С другой стороны может понадобиться сканирование списков(вопрос-ответ, комментарии и т.д.) и при этом избежать этой свистопляски со страницами. Логика тут простая, если я показываю список вверх тормашками(т.е. от новых записей к старым), то и страницы в url я тоже должен перевернуть.
Правда не очень эстетично получается, если пользователь нажимает в пагинации на первую страницу, а в url ему ?page=42 подставляется, и наоборот, нажимает на последнюю, а в url ?page=1. Но зато всё всегда на своем месте.