Как закрыть от индексации любой адрес с определенной страницы?

Question

[Tarik2203]

Ситуация...
Есть страница maxpart.com.ua/product-category/bloki/bloki-dlya-n... Как закрыть от индексации все, что будет после /bloki-sony/ ??? (например: maxpart.com.ua/product-category/bloki/bloki-dlya-n...

Вторая ситуация и вопрос
Для этой же страниц ввожу site:maxpart.com.ua/product-category/bloki/bloki-dlya-noutbukov/bloki-sony/

Получаю в ответ вместо одной страницы еще 2 лишние:
maxpart.com.ua/product-category/bloki/bloki-dlya-n...
maxpart.com.ua/product-category/bloki/bloki-dlya-n...
Получается, что это выбранные фильтры. Вопрос: это дубли основной страницы? Ведь title и description идентичны. Как эти страницы могли попасть в индекс?

Заранее благодарен за помощь!

Comments

[Ankhena]

https://yandex.ru/support/webmaster/controlling-ro...

[Ankhena]

Нельзя заниматься оптимизацией сайтов до тех пор, пока сами не научитесь пользоваться поиском. Все равно ничего не выйдет.

[Tarik2203]

Ankhena W: Это Вы к чему?

[Ankhena]

Tarik2203: к тому, что ответ на ваш первый вопрос гуглится с первой попытки.

[Tarik2203]

Ankhena W: за это спасибо конечно, но есть еще 2 вопроса

[Ankhena]

Tarik2203: Еще 2 я не вижу, вижу только один.
И по запросу "site:maxpart.com.ua/product-category/bloki/bloki-dlya-noutbukov/bloki-sony/" (без кавычек) мне Яндекс выдает только один результат.

[Ankhena]

Tarik2203: Если 3им вопросом было "как они могли попасть в индекс" - то ответ простой: кто-то на них дал ссылку.

Answer 1

[Александр]

в файле robots.txt указывается robotstxt.org.ru/robotsexclusion/spec
файл должен быть http://сайт.рф/robots.txt

Disallow: /product-category/bloki/bloki-dlya-noutbukov/bloki-sony/?filter

Comments

[Tarik2203]

Хороший вариант, но не сработает, если появятся в индексе страницы с другими выбранными фильтрами.

Answer 2

[xmoonlight]

robots.txt:
Disallow: /bloki-sony/

Comments

[Tarik2203]

Таким образом будет закрыта от индексации категория, которую я хочу продвигать. По этому не подходит

Answer 3

[Tarik2203]

Вроде как нашел ответ на вопрос. Дописал 2 строки в robots:
Disallow: */page/*
Disallow: *?*

Первый оператор закрывает от индексации все страницы, в которых есть "page". Второй - все страницы с "?". "page" появляется в url только если перейти на вторую страницу товаров в любой категории, а "?" только если выбран какой-то фильтр товара. И то и другое (по идеи) - дубли.

Проверил в Яндекс вебмастере. Вроде все ок.

Answer 4

[Сергей Давлятов]

Все правильно с "?"
А вот с пейджингом придеться потрудиться:
Если закрыть от индекса страницы пагинации, то как робот узнает что у вас на второй странице (также не попадет в индекс товар) и сколько вообще товаров в этой категории, а это ведь является фактором ранжирования - сколько товаров вы предлагаете 10 или 150.
Делать с умом:
1. Для Яндекса - пропишите атрибут rel="canonical" на всех страницах пагинация на первую страницу, кроме первой, а также настройте редирект с первой страницы на саму категорию (во избежания дублей)
2. Для Google атрибут rel="canonical" подходит если у вас есть страница со всем товаром этой категории туда и проставляете, тогда нужно закрыть от индекса через роботс пагинацию. РЕКОМЕНДУЮ - Идеальный вариант для Google (сочетается с Яндексом если выполнить пункт 1). Прописать второстепенные атрибуты (читать тут https://support.google.com/webmasters/answer/16637... - Данный вариант позволит сформировать общую сущность всей цепочки страниц как один массив, что отдаст весь вес на первую страницу, и повысит позиции сайта по категории.
Пару апдейтов и страницы пагинации вылетят из поиска Я и G, а товар нет. Через 1-1,5 месяца Google сформирует сущность и позиция по категории вырастет.
Удачи в SEO

Comments

[Tarik2203]

1. По идеи, со страницами тоже все правильно. Объясню на примере. Вот карточка товара maxpart.com.ua/product/asus-a32-k52-10-8-11-1-v-52... Это страница конкретной батареи для ноутбука. А вот страница категории всех батарей Asus - maxpart.com.ua/product-category/akkumulyatory/akku... Обратите внимание на то, что у них рахные адреса. Категория указывается как сайт/product-category/ и тд. А страница товара как сайт/product/ + URL конкретного товара. То есть вложенности нет и закрывая от индексации страницы категорий, не закрываются товары из-за того, что они находятся по разным адресам (URL). По идеи это просто специфика woocommerce

2. По поводу прописывания canonical. Я просто не вижу где можно открыть для редактирования вторую страницу категории и прописать canonical. Такой возможности просто нет. Ну или я чего-то не понимаю. По этому и решил закрыть от индексации */page/* чтоб не дублировались title и description

[Сергей Давлятов]

1. Лучше уже не трогать URL, робот с орентируется по "хлебным крошкам"
2. Это проггерская част, на странице категории прописывается скрипт, который отображает URL категории нас всех страницах кроме первой. И мета-теги дублироваться не будут если выполните мои пункты. Закрывать не рекомендую.

[Tarik2203]

Сергей Давлятов: Спасибо! Постараюсь учесть рекомендации