Дубли страниц из-за комментариев, как убрать?

Question

[Den Belzarayn]

Сайт без движка, сделан на html и php. Такая проблема, есть комментарии под статьями, после каждого комента в поисковой индекс гугла добавляются дубли страницы. Например, адрес странички site.com/cagegory/page, добавили коментарий и адрес странички меняется на site.com/cagegory/page?id=9243247632144.91

Дубли создаются по аналогии wordpress, только в этом случае индификатор ?id.
Я уже общался на форумах, внедрил следующие рекомендации и правила, но дубли все равно создаются. После правок дубли исчезли с яндекса и бинга, а вот гугл не слушается нив какую.

В файле robots.txt добавил такие строки:
Disallow: /*?id=*
Disallow: /*?id=
Disallow: /*?*
Disallow: /*?

В .htaccess прописал:
RewriteEngine On
RewriteCond %{QUERY_STRING} ^id=
RewriteRule (.+) /$1? [R=301,L]

Гугл в панеле google вебмастера автоматически создались Параметры URL для id, где были запрещены к сканированию эти адреса. Проблема не решилась, как быть? Мета тег canonical не могу поставить на дубли, так как их физически нет ибо движка нет. Комментарии порождают дубли.

Answer 1

[Илья Белобородов]

если с яндекса и бинга исчезли, значит и с гугла исчезнут, только не известно когда

Comments

[Den Belzarayn]

Еще такой нюанс, старые не пропадают, а новые коменты создают дубли. Получается мои решения не помогают решить задачу.

Answer 2

[Adamos]

Сделайте sitemap - автоматически, указав в настройках скрипта пропуск таких ключей.
И скормите его поисковикам.

Ну, и то, что ссылка на ту же самую страничку идет через get-параметр, а не через # - неаккуратненько...

Comments

[Den Belzarayn]

я sitemao настроил что идет пропуск таких ссылок. А то что идет через get-параметр - это очень критично?

[Adamos]

Сергей Игнатенко: у одной и той же страницы получается разный url.
Для SEO это нехорошо, она может не получать положенный ей вес.

[Den Belzarayn]

Adamos: а как тогда решить проблему? Я перепробовал все стандартные решения. Система комментирования без баз данных ecomment.

[Adamos]

Сергей Игнатенко: боюсь, в первый раз слышу это название и вряд ли чем смогу помочь.

[Den Belzarayn]

Adamos: Может, я как то не правильно в htacces написал или роботс. Интернет обшарил и ответов не нашел. Запрет к индексации дублей везде одинаковый. Яндекс и бинг обработали правильно все, а гугл не хочет(

Answer 3

[Den Belzarayn]

Еще такой нюанс, старые не пропадают, а новые коменты создают дубли. Получается мои решения не помогают решить задачу.

Answer 4

[olee444]

https://support.google.com/webmasters/topic/458910...

Правая колонка

Comments

[Den Belzarayn]

Ну это не является постоянным решением, а только временным.

Answer 5

[Максим Артемьев]

Почему-то все думают, что само выпадет.
А ты возьми, собери все эти дублирующие страницы из выдачи (парсинг по site:), затем затолкай все в sitemap и отправь сайтмап на индексацию через инструмент "Переобход" страниц. Яндекс быстренько подцепит карту сайта, в которой будут одни 301 редиректы и он оперативнее все выкинет.
Почему-то все боятся этого метода о_О

Comments

[Den Belzarayn]

С яндексом проблем нет, только с гуглом.

[Максим Артемьев]

Сергей Игнатенко: сделай по моему способу, проверишь и скажешь :)