СЕО настройка, как правильно настроить индекс в HTTP-заголовке X-Robots-Tag?

Question

[DR016]

Всем привет. в гугл и яндекс веб мастере куча не проиндексированных страниц. пишет что Индексирование страницы запрещено тегом noindex, но таких запретов нет. Еще пишет что В HTTP-заголовке X-Robots-Tag нет директивы noindex. В сео я новичок. Пршу помощи! Заранее спасибо!
пример ссылки - https://bona23.ru/product-category/bona/feed/

Comments

[jeruthadam]

Никто не использует эти заголовки

[jeruthadam]

Лол, делать фид для сайта стекломоя, серьезно?

Answer 1

[bkosun]

Индексация страницы запрещена при помощи HTTP-заголовка X-Robots-Tag:

[root@domain~]# curl -X HEAD -i https://bona23.ru/product-category/bona/feed/
HTTP/1.1 200 OK
Server: nginx-reuseport/1.13.4
Date: Wed, 17 Jul 2019 20:36:28 GMT
Content-Type: application/rss+xml; charset=UTF-8
Connection: keep-alive
Keep-Alive: timeout=30
X-Powered-By: PHP/7.1.21
Vary: Accept-Encoding,Cookie
ETag: "5b78413f0bbe0ff67eb22b8ffa203550"
X-Robots-Tag: noindex, follow
Link: <https://bona23.ru/wp-json/>; rel="https://api.w.org/"

Уберите X-Robots-Tag или установите следующее значение:

X-Robots-Tag: index, follow

Альтернативный синтаксис:

X-Robots-Tag: all

https://developers.google.com/search/reference/rob...
https://yandex.ru/support/webmaster/controlling-ro...

Comments

[DR016]

Нет разницы какое значение... index, all, noindex, хоть X-Robots-Tag вообще нет. Мне дает проиндексировать страницы. Страниц без ошибок у меня 98, исключено 134. Он индексирует, но не все... Что не нравится яндексу и гуглу?

[bkosun]

DR016, я уже ответил почему ссылка, пример которой Вы привели, не индексируется.

[DR016]

ffosters, Нет у меня нигде X-Robots-Tag: noindex, follow, весь сайт перерыл. Где он может прятаться. У меня wordpress+ woocommerce + yoast seo premium + woocommerce yoast seo

[bkosun]

DR016, видно же, что сервер отправляет заголовок X-Robots-Tag. Проверьте конфигурацию веб-сервера. Это может быть файл .htaccess, httpd.conf и т.д.