Какие заголовки отдавать клиенту, чтобы робот не индексировал страницу?

Question

[Александр]

Всем привет. Возникли следующие вопросы:

На сайте для каждого товара есть страница с его обсуждением.
Хочу запретить роботам индексировать страницу, если кол-во сообщений у обсуждения = 0.
Как лучше это сделать? meta name="robots" content="noindex" или <?php header(“X-Robots-Tag: noindex”); ?> (работает для гугла только?)?
Или же в такой ситуации лучше отдавать 404 ошибку?
Как сделать разумно?)
Огромное спасибо за помощь)

Answer 1

[Stalker_RED]

По стандарту есть только один заголовок: X-Robots-Tag: noindex.

Имхо, лучшим вариантом будет не создавать эту пустую страницу вообще, и не иметь ссылок на нее, пока на ней не появятся отзывы. Если она нужна для размещения формы - придется идти на компромиссы или химичить с ошибками и редиректами.

Comments

[Александр]

создаваться она не будет, ссылок на нее не будет.. а вот изменив url, вписав id любого товара(id товара известен на странице товара), можно..
Т.е. страница будет генерироваться по таблице "товары join (таблица с сообщениями-обсуждениями)"..

[Иван]

Александр: если на страницу нет никаких указателей, то как её бот вообще найдет? Стоит ли заморачиваться тогда?