Ответы пользователя по тегу Обработка URL
  • Запрет на обход в Robots.txt и 301 редирект. Как правильно?

    @VeryLongAgoDid
    Всё возможно
    Попробуем расшифровать:
    Всего 2000+- страниц. 200+- остались, перемещены и а них сделаны редиректы. 1800+- удалены и больше не актуальны для сайта.

    А теперь вывод. Вы настроили чтобы рабочие ссылки робот не потерял и хотите их запретить вообще. Если Вы закроете раздел целиком, то это скажет что вы удалили 2000 страниц, а это не так. Пусть ответ будет не 404 но страницы для поисковика вы сделаете недоступными. А значит из поиска они тоже постепенно уйдут.

    Мне кажется, что вы уже сделали достаточно для корректной работы, настроив редиректы. А запрещать обход раздела которого нет и к которому обращения сойдут на нет бессмысленно.
    Ответ написан
    2 комментария