Как закрыть от индексации страницы /news/?param=....?

Question

[Алексей]

Всем привет! Как оставить в индексе только те страницы, которые НЕ содержат в себе параметров в конце?
Например эта в индексе не нужна /news/?param=...
А эта нужна /news/
или может быть
/news/category/block/ - нужна

Answer 1

[Владислав Иващенко]

Disallow: *?
Закрывает все страницы с параметрами. Предварительно проверьте, что у вас точно нет важных страниц с параметрами.

Comments

[Алексей]

Если я правильно понял, то закрыть ссылку /news/category/block/ с параметрами можно так?
Disallow: /news/category/block/*?
И при этом ссылка до звездочки будет индексироваться?

[Владислав Иващенко]

Евгений: Да, строка
Disallow: /news/category/block/*?

закроет индексацию страницы /news/category/block/ с любыми параметрами, при этом оставив разрешение на индексацию этой страницы без параметров.

[Владислав Иващенко]

Кроме того, данная директива также закроет и любые "подстраницы" с параметрами, например: /news/category/block/223/?show=all

[Мирослав Зорро]

Владислав, а если уже проиндексировалось 50 000 страниц такого плана
/news/*? (page1, page2 и т.д., т.е. пагинация)
после этого я закрываю
Disallow: /news/*?

то что происходит?

[Владислав Иващенко]

Мирослав Сму: То их выкинет из индекса, в т.ч. и саму страницу /news/, поскольку звёздочка -- это ноль или более любых символов.

Для пагинации предпочтительнее использовать rel=next и rel=prev, либо хотя бы rel=canonical.

[Владислав Иващенко]

Мирослав Сму: Ой, не заметил знак вопроса в конце строки. Эта строка выкинет только подстраницы с параметрами (/news/?page1, /news/?page2 и т.д.). Сама страница /news/ останется в индексе.

[Владислав Иващенко]

Мирослав Сму: Кроме того, если это пагинация, то выкидывать такие страницы не совсем корректно -- могут потеряться ссылочные связи со старыми материалами.

[Мирослав Зорро]

а можете написать скайп? есть просто уточнение. хотел на примере показать

[Владислав Иващенко]

Мирослав Сму: не пользуюсь скайпом, к сожалению.
телеграм Владислав Иващенко, мыло [e-mail]

[Владислав Иващенко]

Мирослав Сму: https://telegram.me/ivaschenko

Answer 2

[Иван]

Не забывайте проверять директивы robots.txt через инструмент - https://www.google.com/webmasters/tools/robots-tes...