В поиске yandex появляются дубли типа site.com/?C=N;O=D или site.com/?C=S;O=D. Как настроить сервер что бы не было дублей?

Question

[alexdipiv]

В поиске yandex (в google проблем нет) появляются дубли главной страницы типа: site.com/?C=N;O=D или site.com/?C=S;O=D. Я их удаляю (через Вебмастер ), запрещаю к индексированию в robot.txt, но они всё равно появляются. Сайт статичный, маленький, самописный, находиться на digitalocean.com apache+php. Страницы index.html нету, главная страница указана через DirectoryIndex. Подскажите как настроить сервер, что бы эти страницы вообще не появлялись?

Answer 1

[ShamblerR]

Насколько я понимаю дубли какраз из за фильтров на сайте которые генерят гет запросы тем самым дублируя сущьности.
В таком случае перепишите фильтр чтоб он автоматически докидывал риал каноникал и все.

Comments

[alexdipiv]

А что за фильтры, можно немного по подробней (только учусь). Для информации, в google на шёл, что подобные страницы появляются при выкачивание сайта через wget.

Если у меня в .htaccess стоит 301 ридерект с site.com/page.html на site.com, то url для rel="canonical" вот этот указывать site.com?

И ещё не подскажите как должно выглядеть правило для 301 ридиректа. С site.com/? на site.com

[ShamblerR]

1. если у вас сайт то фильтр на сайте по каталогу.
2. редирект на тот сайт который у вас в индексе сейчас, он может быть с вв и без это тоже имеет значение поскольку это тоже разные домены и их кстати тоже нужно клеить чтоб в результате оставался только один, тот что сейчас в индексе.
3. Это "редирект с гет пармметром"- фактически забейте в гугл и получите ответ. уже устал показывать;)
гет редиректится чуть по другому