Сайт на WordPress. Как в индекс попадают ссылки вида адрес_сайта.ru/?p=333?

Question

[Ganjubas_Original]

Приветствую, товарищи. Впервые сталкиваюсь с прессом. Проблема в том, что в индекс поисковиков попадают страницы типа адрес_сайта.ru/?p=333. Почитал, посмотрел. Везде советуют настроить постоянные ссылки, но в админке они и так уже настроены. Вот так адрес_сайта /%category%/%postname%/
И собственно при переходе по ссылкам с GETом мы автоматически редиректимся на страничку с правильным урлом. Но вот почему поисковые машины видят эти странички и добавляют их в индекс как дубли? И главный вопрос как это исправить?

Answer 1

[Natan]

страницы типа адрес_сайта.ru/?p=333

Ganjubas_Original вам уже много всего насоветовали, но самое простое это для вас указать каноническую ссылку для каждой страницы (атрибут rel="canonical") и будет вам счастье. Если у вас нет настройки канонических ссылок в wp, можете поставить плагин Yoast SEO, он много полезного поможет сделать.

Answer 2

[djalin]

User-agent: *
Crawl-delay: 1  
Disallow: /webstat/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /comments
Disallow: /wp-comments
Disallow: /xmlrpc.php
Disallow: */trackback
Disallow: */feed
Disallow: /feed/
Disallow: */comments
Disallow: /category
Disallow: /category/*/*
Disallow: /tag
Disallow: /*?*
Disallow: /*?
Disallow: /to/
Disallow: /&*
Disallow: /page/
Disallow: /goto/
Disallow: /goto/*

Comments

[Roman]

вот так не делайте

[Site Developer]

Roman: +100!

Answer 3

[Site Developer]

Но вот почему поисковые машины видят эти странички и добавляют их в индекс как дубли? И главный вопрос как это исправить?

Главный вопрос выделен. Остальные отпадут как только будет выяснена главная причина. А откуда попадают - видно в том же я.вебмастре или логах сервера (серверная статистика).
Хотя если есть 301 редирект (нужно убедиться что именно 301, а не 302, и тем более не 200), то дублей быть не должно. Может они были, но в ПС ещё не индексировались.

Comments

[Ganjubas_Original]

Есть еще проблема. Возможно она связанная.
Имеем так же в индексе страницы вида /news/15-skidka-na-energeticheskij-tonik-baborganic/95/
Собственно /95/ тут лишнее. Без нее открывается та же страницы что и с цифрами. Если дописать туда буквы, то получим 404, а если продолжим дописывать цифры, то будем продолжать получать нашу страницу.
Это может быть связанно? И как можно это поправить?

[Site Developer]

Ganjubas_Original: это другая проблема. И это косяк ВП, связанный с пагиацией. Обещают пофиксить. А пока только наблюдать за переходами и ставить ручные редиректы.

Answer 4

[mletov]

Непонятные страницы GET запросов в статистике Яндекс Вебмастере, как с этим бороться?
Поиграйтесь с robots.txt
clean-param или disallow помочь

А почему такое происходит - не суть важно. Скорее всего, поисковики определяют, что сайт на WP, и начинают долбиться по типовым адресам, если они не возвращают 404 - попадают в индекс.
У меня с Drupal так было, Яндекс настойчиво индексил страницы вида /node/123 (аналог вордпрессовского /?p=123), хотя алиасы страниц были прописаны, а ссылок такого вида в шаблоне не было. Написал правило в robots.txt по шаблону типа "disallow node/*", все нормально переиндексилось