Устранение дублей страниц сайта с помощью robots и htaccess?
Такая проблема к статическому сайту прикрутил комментарии и по аналогии с древовидными комментами у вордпресса, при каждом комментировании создаётся дубль. Я поздно это заметил и с десяток дублей попали в поиск читал что стандартно в robots не решает проблемму для гугла.
Опишу более подробно проблему, вот страница sitemy.com/stares1
Когда создается комментарий, добавляется к вышеприведенному примеру sitemy.com/stares1?id=9884774346734463.82
Я писал так в robots.txt:
Disallow: /*?id=*
Disallow: /*?id=
Disallow: /*?*
Disallow: /*?
И в htaccess строчку:
RewriteRule (.+)/?id= /$1 [R=301,L]
Подскажите может, я что-то сделал не правильно? Может нужно что-то добавить?
Не нужно каких-то еще манипуляций проводить что бы с индекса исчезли дубли?
В яндексе дублей нет, а вот в гугле есть и читал статейки что просто так не убрать дубли.
Sergey Romanov: А если сайт написан на голом html? То как быть? Страниц с дублями физически нет на хостинге они появляются в поисковой выдаче. ?id=9884774346734463.82 - это айдишник комента который добавляется к странице.