Странная ошибка 404 в заголовке страницы при первом запросе. После второго и последующего ответ 200 ОК. Что делать?

Question

[keslo]

Добрый день, господа!

Примерно с месяц назад обратил внимание, что страницы сайта начали выпадать из индекса Яндекс и Google по причине возврата 404 кода с этих страниц. Сначала грешил на косяк роботов, так как ответ сервера при проверке через панель вебмастеров в Яндекс выдавал 200 ОК для этих страниц.


Но страницы продолжают выпадать :(


Решил прогнать через «Посмотреть как Google-бот» и что я увидел:



Страница подгружается полностью и имеет нормальный вес, но в заголовке передается HTTP/1.1 404 Not Found.


Как такое может быть? Я на сайте никаких серьезных переделок не делал за последний год.


Система управления CMS MODx

Сегодняшние наблюжения


— Первый запрос страница отдает ответ 404

— Второй и последующие ответы идут 200 ОК


С чем это может быть связано?


На картинках подчеркнул разницу в тексте ответов при 200 и 404:




и

Answer 1

[keslo]

После долгих дум и не очень долгих поисков нашел в чем причина.

Писал чуть выше, что решил попробовать подставить другой шаблон. В итоге проблем небыло. Но при установке подменного шаблона на главную страницу мне вывелось следующее:



Это сообщает нам, что у главной страницы не должно быть даты публикации.

Заходим в настройки страницы и удаляем дату публикации:



После этого у меня вроде как Google возвращает ответ сервера 200 ОК. А Яндекс как отдавал 200, так 200 и отдает. Слава Google! :-)

Извините если кого побеспокоил. Надеюсь пригодиться кому данное наблюдение.

Comments

[Степан]

Просто взрыв мозга!
Промолчу что нужно делать с такими CMS.

[EugeneOZ]

L3n1n, выдавите их с рынка конкурирующим решением :) И тут нет иронии.

[keslo]

Согласен, что проблемка довольно «тупая» выходит. Но между тем, MODx Evolution является одним из моих любимых движков :)

[Степан]

EugeneOZ, не благодарное это дело… Я считаю что каждый нормальный проект должен делать свою CMS для себя. Практика показывает, что сколько бы умов не трудилось над опенсорсом, всегда найдутся умы которые найдут уязвимости. На самописном CMS это в разы сложнее. За 8 лет в моем гкоде никто не нашел серьезные уязвимости, а их там пруд пруди :)

keslo, проблема более чем «тупая». Даже логике никак не подчиняется то, что смена времени публикации может каким то боком влиять на заголовки web-сервера. Это все равно, что квкус кофе который я сейчас употребляю повлияет на заряд батереи моего ноутбука.
Факмоймозг одним словом.

Answer 2

[Николай Васильчук]

Я вижу несколько другой исходный код страницы в браузере. Очень странно.

Comments

[keslo]

Да, действительно подставлял другой шаблон на время. И получалось так, что с другим шаблоном сайт выдавал код 200 ОК. Что меня еще больше заинтересовало…

Answer 3

[hostadmin]

Может у вас сайт выдавал 500-ю ошибку, а nginx её воспринимал как 404?

MODX Evo?

Comments

[keslo]

Да, MODx Evo.

Я немного плохо разбираюсь в серверах и их настройке. Но то, что Яндекс не видел проблем через Вебмастер — это факт. Вот Google выдавал четно 404. Сижу на хостинге Мажордомо.

А каким образом 500-ая в 404 переходит по-вашему? просветите чуток :-)

[hostadmin]

У меня был сниппет, из-за которого была 500-я ошибка, но сайт показывался. Поисковики некоторые говорили что ошибка на странице, а некоторые что страница не найдена.

[keslo]

Понятно. У меня в основном стандартные сниппеты и модули. Надо бы попробовать поставить дату публикации на главной странице на других сайтах на MODx и посмотреть результат.

[keslo]

Данный эксперимент никак не повлиял на работу и не отдавал ошибку 404 :-/

[amidart]

500 может перейти в 404 как-нибудь вот так:

Furthermore, it is possible to change the status code of the answer to another, for example:
error_page 404 =200 /empty.gif;
error_page 404 =403 /forbidden.gif;

Answer 4

[keslo]

Еще раз добрый день. По данному вопросу выяснились новые моменты.

Возможно, что ошибка выдаваемая из-за даты публикации и не причем. Что сегодня я заметил:



Т.е. при первом обращении выдается ошибка 404, но при последующих отдается ответ 200 ОК.

Я прям в замешательстве. Помогайте :(

Comments

[hostadmin]

Видимо при первом запросе страница генерится, а при повторном берется из кэша modx.

[keslo]

Так же не нормально? :-/

[keslo]

Подчистил кэш на сайте и обратился к странице, которая выдавала ответ 404 сегодня пр первом запросе. Возвращается сразу 200 ОК.

[keslo]

C Яндекс и Google симптомы аналогичны.