Как корректно закрыть от индексации дубли?

Question

[iberk]

yandex.webmaster считает что index.html / и /? дубли, как корректно дать понять роботу что нужно индексировать только /
?

Answer 1

[Виктор Петров]

Технические дубли не надо закрывать от индексации, их надо склеивать с целевой посадкой. Способов много, надо отбирать по конкретному движку и сайту. Где-то - использовать 301, где-то - канонические адреса, где-то и Clean-param достаточно под Яндекс.

Answer 2

[Anton]

Пример:

User-agent: *
Allow: /*js
Allow: /*css
Allow: /*jpg
Disallow: /index.html
Disallow: /*?

https://en.ryte.com/free-tools/robots-txt-generato...