@sanok_ps
Веб-разработчик, дизайнер

Как заставить ботов, в том числе GoogleBot, не посещать несуществующие страницы сайта?

Делали 301 редирект со старых страниц на новые - все равно Google и другие системы помнять эти адреса и ходят по ним спустя год. Поставили 410 ответ. Это даст понять системам, что необходимо больше не ходить по данному адресу?
Не нравится это тем, что засоряет логи и делает нагрузку на сайт.
  • Вопрос задан
  • 83 просмотра
Решения вопроса 1
ReactorHeart
@ReactorHeart
SEO аналитик
Google и другие системы помнять эти адреса и ходят по ним спустя год.

Причин может быть несколько:
  1. старые URL сохранились во внешних ссылках. Если не можете их поменять, то так и будут ходить.
  2. сохранились внутренние ссылки на старые URL на вашем сайте. Проверьте внутреннюю перелинковку, возможно не убраны ссылки на страницах сайта на несуществующие страницы.
Ответ написан
Пригласить эксперта
Ответы на вопрос 1
@bacon
Поставили 410 ответ.
зачем? оставь переадресацию
Не нравится это тем, что засоряет логи и делает нагрузку на сайт.
Логи для этого и нужны, чтобы знать что происходит, сетовать на "засоряет логи" это вообще глупость. А если это еще и вызывает нагрузку, то лучше потрать время на оптимизацию работы кода сайта.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы