Почему Google пытается проиндексировать несуществующую страницу?
Привет,
Недавно запустили сайт, а через неделю Google меня обрадовал в Webmaster Tools, что index.php не может быть найден. Я не нашел ни одной ссылки у себя на сайте на index.php, да и вообще я использую Python + Django. Проверил все библиотеки, которые использую, ничего подобного тоже нет. С чего Google решил, что у меня должен быть этот файл?
И главный вопрос, как лучше пофиксить эту ошибку? У меня напрашивается решение сделать следующее. В Nginx настроить, чтобы когда обращались к этому файлу, то был 301 редирект на основную страницу и пометить в контрольной панели, что ошибка исправлена.
Кто нибудь сталкивался с чем-то подобным? Как поступить?
Если внешняя ссылка стоит где-то то бот всё равно может ломиться на эту страницу.
Может страница была раньше и была ссылка, потом убрали, но страница пока ещё "в индексе".
Есть вариант что вы плохо искали и ссылка всё же где-то стоит, может в sitemap гугл обычно выдаёт место откуда ссылка на страницу стоит, в яндекс-вебмастер можете добавить для интереса.
Надо настроить всё так что бы при обращении по ЛЮБОМУ адресу (и каталогам) кроме существующих страниц сайт отдавал правильную 404 страницу и передавал в заголовке в т.ч. код 404
Скажите, что означает правильную 404 страницу? Пока у меня возвращается обычная 404 ошибка от Nginx'a. Проверил sitemap, ничего подозрительного не обнаружил.
Что касается страницы в индексе, такого быть не могло. Сайт только вот был запущен. Я к этому вопросу подходил очень серьезно, чтобы ненаделать глупостей.
> правильную 404 страницу Если код ответа сервера 404 т.е. HTTP/1.1 404 Not Found то всё ок. Тогда просто подождите, либо ошибка исчезнет либо ещё что то, ну и настроки сервера (что там в джанго вместо htaccess) надо проверить
myfirepukan: спасибо. Решил не ждать, так как эта ошибка держится больше недели. Сделал редирект 301 на главную страницу. Обратился в службу поддержки, посмотрю, что они посоветуют. Немного удивлен поведением Googlebot'a.
Простой
