Индексирования неактуальных страниц сайта?

Question

[Валентин]

Здравствуйте. Делаем полный редизайн сайта на том же домене. У нас все товары будут с новыми URL, а старые соответствующие будут не актуальны. Суть вопроса: что делать со старыми URL? Удалять с индексирования или сделать так чтобы при переходе на них была ошибка 404 или перебрасывало на главную страницу сайта?

Answer 1

[Антон Величко]

что делать со старыми URL

Составить таблицу 301 редиректов:

1. Выгрузить все целевые URL со старого сайта любым краулером
   
2. Сопоставить их с аналогичными URL на новом сайте
   
3. Если нет аналогичных страниц на новом сайте — редирект настраивать не нужно, нужно отдавать код ответа — 404/410.
   

Если:

1. Средний ИМ (5000 - 30.000 товаров) - делать сопоставление страниц для категорий и подкатегорий вручную, а затем свести в таблицу. Страницы карточек товаров можно просто выгрузить и поручить сопоставление программисту.
   
2. Крупный ИМ (50.000+ товаров) - SEO-специалисту сделать выгрузку всех страниц старого сайта, а после настройки редиректов программистом, проверить коды ответов выгруженных ранее страниц (код должен быть - 301 редирект со старых URL).
   

Нюансы:

• Если на старом и новом сайтах все URL формировались с помощью различных правил (а не просто задавались вручную без какой либо логики и структурирования), программист настроит динамический редирект без труда.
  
• Если URL формировались вручную без структуры, то программисту понадобится таблица редиректов (см. выше). Для облегчения работы программиста по сопоставлению URL старый/новый для карточек товаров можно применять метод сопоставления по артикулу.
  

Answer 2

[Dimonchik]

если нельзя на соответствующую новую - то 404

Answer 3

[Hanneman]

В HTTP есть специальный код ответа: 410 Gone. Возвращайте его, если хотите наглухо убрать.

The 410 Gone Error is an HTTP response status code indicating that the resource requested by the client has been permanently deleted.

Но обычно советуют делать редирект со старой на новую с указанием canonical meta tag.