Как удалить/исключить из поиска дубли страниц WordPress?
Итак суть проблемы. Оптимизирую свой интернет магазин для поисковиков.
Имею сайт вида site.ru/katalog/knigi/kolobok.html. Убираю knigi/ и получается: site.ru/katalog/kolobok.html
Страница открылась по этому адресу — следовательно, передо мной дубль.
То есть встает вопрос о ее удалении либо о ее закрытии от индексирования. Но как удалить эти страницы, если они генерируются автоматически и в админке Wordress их просто нет? (плюс ко всему их получается огромное количество) А если закрыть их от индексирования, то какие правила нужно применять в robot.txt?
Физически дублей нет. Это всего лишь особенности работы системы постоянных ссылок в Wordpress. Вряд-ли поисковик доберётся до т.н. вами "дублей" (если их только вручную не прописать в sitemap). Но на всякий случай поставьте плагин SEO by Yoast - там есть настройки дублей и их можно закрыть от индексации перманентно.