Я насчитал более 20 типов страниц с малополезным для пользователей контентом. Для каждого типа существует свой оптимальный метод блокировки:
- Непубличные и конфиденциальные страницы я закрываю, используя авторизацию (пароль) при входе.
- Группы технических страниц (кроме css и js файлов, участвующих в рендеринге) я блокирую директивами файла robots.txt.
- Отдельные страницы без контента (типа "Спасибо за покупку") я закрываю метатеом noindex.
- Полные и частичные дубликаты склеиваю в зависимости от ситуации либо rel=canonical, clean-param (для Яндекса) либо 301 редиректом. Например, страницу- частичный дубль по контенту я склеиваю с основной страницей 301 редиректом, а страницу-полный дубль по контенту через rel="canonical" и директиву clean-param.
