Как в Robots.txt запретить индексировать в конце урла « #! »?

Question

[devKazhan]

Добрый день! В отчетах Search Console от гугл нашел дубли страниц из-за того, что индексируется урл например : URL1 = "/ " , URL2= "/#! " - хотя это одна и та же страница. Таких страниц у меня аж 40 насчитало. Как запретить это глобально? не для одного урла.

Answer 1

[Anton]

В Robots никак :(
Попробуй использовать тег link canonical, в котором указывай адрес основной страницы

Comments

[devKazhan]

в роботе можно, но не глобально... можно каждую страницу руцями вносить

Answer 2

[Golover]

Если есть возможность пропишите canonical для страниц с URL /#!