Как лучше решить проблему с дублями страниц при поисковой индексации?
Яндекс-вебмастер показал большое количество дублей страниц сайта. Часть из них связана с динамическими страницами, имеющими тем не менее разные адреса. К примеру, site.com/news/testovaya_novost1 и site.com/news/testovaya_novost_2 являются дублями, хотя контент на них разный. Часть формируются из-за незначащих GET-параметров, и на сайте вообще никакая страница кроме поисковой не зависит от GET-параметров, поэтому хотелось бы им всем поставить disallow, но встретил не мало аргументов против такого решения. При этом Яндекс пишет, что в случае генерации дублей из-за незначащих GET-параметров нужно использовать директиву Clean-param, которую не воспринимает гугл. Как в таком случае лучше избавиться от дублей?
Часть формируются из-за незначащих GET-параметров, и на сайте вообще никакая страница кроме поисковой не зависит от GET-параметров, поэтому хотелось бы им всем поставить disallow, но встретил не мало аргументов против такого решения.
Все страницы с url параметрами заблочить в robots.txt, разблочить лишь те, которые являются страницами-фильтрами (куда попадаем, после фильтрации товаров в каталоге) с get параметрами (если такие имеются), и указать им canonical на страницу без url параметров. Дубли пропадут со временем самостоятельно, но лучше закинуть их на переобход руками в вебмастере.
Спасибо большое. А как быть со старыми ссылками, для совместимости с которыми оставлен редирект? То есть, сейчас есть site.com/news/novost_1 , а ещё туда же ведёт ссылка старого вида site.com/company/news/novost_1 и такая "страница" соответственно считается дублем.
vladimirir, если 301 редирект, то никак, сама со временем отвалится. А вот когда отвалится, необходимо как можно быстрее удалить 301 редирект со "старой ссылки" так, чтобы "старая ссылка" возвращала код 404 при переходе на нее, а то у меня был случай, когда яша после удаления 301 страниц из вебмастера, через месяц добавил их обратно.
Простой