Какие заголовки отдавать клиенту, чтобы робот не индексировал страницу?
Всем привет. Возникли следующие вопросы:
На сайте для каждого товара есть страница с его обсуждением.
Хочу запретить роботам индексировать страницу, если кол-во сообщений у обсуждения = 0.
Как лучше это сделать? meta name="robots" content="noindex" или <?php header(“X-Robots-Tag: noindex”); ?> (работает для гугла только?)?
Или же в такой ситуации лучше отдавать 404 ошибку?
Как сделать разумно?)
Огромное спасибо за помощь)
По стандарту есть только один заголовок: X-Robots-Tag: noindex.
Имхо, лучшим вариантом будет не создавать эту пустую страницу вообще, и не иметь ссылок на нее, пока на ней не появятся отзывы. Если она нужна для размещения формы - придется идти на компромиссы или химичить с ошибками и редиректами.
создаваться она не будет, ссылок на нее не будет.. а вот изменив url, вписав id любого товара(id товара известен на странице товара), можно..
Т.е. страница будет генерироваться по таблице "товары join (таблица с сообщениями-обсуждениями)"..
Простой