В вебмастере яндекса получаю критическую проблему: "Некоторые страницы сайта отвечают HTTP-кодом 4xx".
Ситуация такая, что на моем сайте есть товары, которые потом могут удалиться с сайта, НО они уже проиндексированы поисковой системой.
В данный момент у меня стоит отдача ошибки 423 на страницы, которые были удалены с сайта, видимо из-за этого я получаю критическую проблему, сильно просел поисковый трафик.
Подскажите, как правильно мне поступить и что делать со страницами, которые УЖЕ проиндексированы и ПОСЛЕ этого были удалены с сайта.
Я настроил 423 ошибку на такие страницы, но Вебмастер сразу выдал "Фатальную ошибку".
ДО ЭТОГО у меня стояло перенаправление на страницу с товарами, если запрашиваемой страницы не было. Тогда Вебмастер показывал "Возможная ошибка" с названием "Некорректно настроено отображение несуществующих файлов и страниц". И тоже пропал поисковый трафик.
Как сделать так, чтобы не было проблем с индексацией и правильно настроить ответ сервера, чтобы мне в ручную не удалять из поиска эти страницы, в ручную не добавлять их в robots, потому что их очень много, а вебмастер сам их удалял из индекса, если они стали отдавать ответ 404 или 423.
Или другими словами. Как сделать так, чтобы Вебмастер и поисковая система не ругались на то, что они не могут найти уже проиндексированные страницы ?
