Запрет на обход в Robots.txt и 301 редирект. Как правильно?
Друзья!
Некоторое время назад удалил с сайта раздел (~2000 старых страниц). Те страницы на которые были хорошие ссылки (~200) добавил 301 редирект на схожие актуальные страницы. Можно ли запретить поисковым роботам посещать удаленный раздел или тогда они не узнают о 301-м редиректе? Думаю, что не полезно, если роботы видят 404 ошибку на оставшихся 1800 страницах, у которых нет 301 редиректа. Проще запретить весь раздел и они не будут туда стучаться. Видимо нужно подождать, когда поисковики обойдут страницы, увидят редирект, а потом запрещать? Как лучшее всего поступить?
ДОПОЛНЮ
На самом деле, я склоняюсь к запрету индексации старого раздела и удалению редиректов. Эти страницы не несут никакой пользы, это были краткие новостные заметки и были написаны еще до 2007 года. Потом я перешел на новый движок и оставил старый с этими вот страницами. Они были не очень качественные и еще и плодили дубли. Реальных пользователей на них уже много лет нет и быть не может.
Получается, что Яндекс видит на каких то сайтах ссылки на эти страницы и постоянно ходит на них смотреть. В итоге в истории обхода постоянно куча страниц с 404.
Единственно, жалко ссылки с крутых сайтов типа news.com.ru или ixbt.com, которые, наверное, давали вес моему сайту в целом. Вот для них я и делал 301 редирект.
Сейчас, при переходе на HTTPS Яндекс будет видеть несуществующие страницы, которые имеют глобальный редирект 301, а потом цель отдает 404, что мне тоже не нравится.
В общем, может просто закрыть разделы да и забыть про них?
Arman, ну работы видят 404 ошибку на оставшихся 1800 страницах, у которых нет 301 редиректа. Проще запретить весь раздел и они не будут туда стучаться.
Попробуем расшифровать:
Всего 2000+- страниц. 200+- остались, перемещены и а них сделаны редиректы. 1800+- удалены и больше не актуальны для сайта.
А теперь вывод. Вы настроили чтобы рабочие ссылки робот не потерял и хотите их запретить вообще. Если Вы закроете раздел целиком, то это скажет что вы удалили 2000 страниц, а это не так. Пусть ответ будет не 404 но страницы для поисковика вы сделаете недоступными. А значит из поиска они тоже постепенно уйдут.
Мне кажется, что вы уже сделали достаточно для корректной работы, настроив редиректы. А запрещать обход раздела которого нет и к которому обращения сойдут на нет бессмысленно.
Во-первых, большое спасибо за то что вникли в мой вопрос. :)
Может быть я немного разверну ситуацию, а вы мне еще посоветуете?
На самом деле, я склоняюсь к запрету индексации старого раздела и удалению редиректов. Эти страницы не несут никакой пользы, это были краткие новостные заметки и были написаны еще до 2007 года. Потом я перешел на новый движок и оставил старый с этими вот страницами. Они были не очень качественные и еще и плодили дубли. Реальных пользователей на них уже много лет нет и быть не может.
Получается, что Яндекс видит на каких то сайтах ссылки на эти страницы и постоянно ходит на них смотреть. В итоге в истории обхода постоянно куча страниц с 404.
Единственно, жалко ссылки с крутых сайтов типа news.com.ru или ixbt.com, которые, наверное, давали вес моему сайту в целом. Вот для них я и делал 301 редирект.
Сейчас, при переходе на HTTPS Яндекс будет видеть несуществующие страницы, которые имеют глобальный редирект 301, а потом цель отдает 404, что мне тоже не нравится.
В общем, может просто закрыть разделы да и забыть про них?
Не готов советовать, тут Вам надо решить.
Конечно ответ 404 не супер круто, но это всё ещё ссылка на Ваш сайт. Да и что плохого в смене структуры? Сайт меняется, страницы удаляются, новые создаются и чтобы видеть эти изменения поисковики переобходят всех и вся. Редиректы, sitemap, robots.txt и прочее это инструменты в помощь роботу и не более.
Простой
Сложный
Простой
