Лентюй, ой, некрасивый намек на прямоту рук.
Не только руки надо иметь, но и опыт, друг мой.
"Проиндексировано, несмотря на блокировку в robots.txt" - не сталкивались ли с таким статусом?
Если нет, то, пожалуйста, не пытайтесь завышать свою экспертность.
А если да - то какие ещё могут быть вопросы!
Чем заканчивается url-адрес страницы, на которой наблюдается проблема?
Один из возможных вариантов - для страниц данного типа (с определенным расширением) настроено кэширование - возможно, в файле .htaccess.
Могут быть и другие варианты, конечно.
lasthero67, не совсем понял задачу. Но предположу:
Допустим, Вы ожидаете, что непустом файле должен быть узел shop (внутри которого другие узлы).
Тогда корректность получения xml можно проверить, к примеру, так:
if ($data) {
if (!empty($data->shop)) {
echo 'Ura!';
}
}
Изобретатель Дикпиков, запоминают временно, и что?
Это не станет помехой для нового индексирования, если страница снова появится и url появится в sitemap.
302 - в целом можно, но бывают с ним проблемы, вот пример.
301 ничем не хуже для данного случая.
лучше не редиректить и сделать полезную страницу 404
Только если код ответа будет не 404.
А ещё лучше, если это будет вообще не 404 страница.
(такое позволяет наш статус - официальный технологический партер Ozon)
https://tovaroved.net