Почему на сайте на bitrix не активные страницы разделов каталога отдают в заголовке для поисковиков 200, хотя в браузере 404?

Question

[alysenko]

Есть такая проблема.

Сайт на битрикс.
Использую компонент catalog.section. На сайте есть категории товаров. При деактивации данных категорий должна выводится страница 404. Она и выводится, и в браузере отдает Status Code: 404. Но поисковые системы видят её с кодом 200.

В чем может быть проблема?

Comments

[Никита]

Как Вы проверяете, что поисковые системы получают Status Code: 200 ?
Скорей всего поисковая выдача просто не обновилась.

[alysenko]

С помощью сервисов checkmy.ru/, https://webmaster.yandex.ru/tools/server-response/, https://www.host-tracker.com
Например, checkmy.ru вот что показывает для страницы joxi.ru/DmBBOP5cwNnwlm

Answer 1

[Айнур Валиев]

настройки главного модуля
Посылать в заголовке статус 200 на 404 ошибку:

Comments

[alysenko]

Эта опция отключена joxi.ru/1A5BPo0cnKlpGr

[Айнур Валиев]

alysenko,
для catalog.section
SET_STATUS_404 [Y|N]

[alysenko]

Айнур Валиев, это свойство тоже активно joxi.ru/BA0EPoJtJBkxvr. Тут я в первую очередь проверил

[Вася]

alysenko, посмотреть access log самое надежное

[alysenko]

haramba, На сколько я понял проблема была в композитном кэше.
Он не успевал обновляться, чтобы отдавать актуальное состояние страницы.
Решил проблему тем, что после отключения страницы приходилось чистить вручную кэш. Но и это не всегда помогало, поскольку last update страницы не всегда обновлялся, следовательно поисковые системы не понимали, что страница обновилась.
Плюс к этому в композитного кэша есть такая особенность, что он не с первого хита отдает новую страницу, а только с третьего.