Как закрыть страницу от индексации?

Question

[zarabotok]

На сайт есть страници ( об авторе,контакты и т.д) Как их закрыть от индексации? в роботс например?
они имеют такой вид:
http://сайт/kontakty/

Answer 1

[Roman]

Через robots.txt лучше отдельные страницы не закрывать.
Пропишите в header этих страниц:
<meta name="robots" content="noindex,nofollow" />
Тоже самое для каждой страницы можно сделать используя любой SEO-плагин, например All in one SEO.

Comments

[SabCoopers]

А чем плох вариант с закрытием отдельных страниц через robots.txt? Какие подводные камни?

[zarabotok]

Добавить аргумент NOFOLLOW
Добавить аргумент NOINDEX
В All in one SEO. поставил галочки, но гуглу видно побаробану.
Еще один вопрос, а как и где найти header страници что бы добавить или посмотреть

[Roman]

zarabotok: Очевидно вы закрывали не перед публикацией, а после. И до момента появления noindex,nofollow Google уже успел проиндексировать страницу. Теперь нужно ждать повторной индексации, чтобы Google увидел noindex,nofollow и выбросил страницу из выдачи.

[Roman]

SabCoopers: Если Google где-нибудь (хоть на самом сайте, хоть на каком-нибудь форуме) найдет ссылку на страницу закрытую в robots.txt, он добавит эту страницу в доп.выдачу. Это отрицательно сказывается на сайте. Почитайте здесь.

[Roman]

zarabotok: Кстати если ваши страницы уже проиндексированы и вы закроете их сейчас в robots.txt, то после ближайшей переиндексации страница перейдёт из основной выдачи google в дополнительную, фактически сайту не станет ни лучше ни хуже, это одинаково плохо - иметь дублирующие или пустые страницы и иметь мусорные страницы в доп.выдаче.

[SabCoopers]

Roman Gruff: спасибо!

Answer 2

[Игорь Воротнёв]

Используйте SEO плагин, например WordPress SEO by Yoast (один из 2х лучших в экосистеме WP, но в отличие от упомянутого All in one SEO - бесплатный и не задрачивает напоминанием о переходе на Pro версию). Если тамошней кучи настроек по правилам не хватит - плагин дает возможность дописать кастомные правила в robots.txt