В яндекс вебмастере вижу что регулярно в поиск попадают адреса вида /uslugi/blablabla/?pm_source=mail.yandex.ru&pm_block=none&pm_position=0 что это?

Question

[IwanIwanow]

В яндекс вебмастере, в "Страницы в поиске", вижу что регулярно стали в поиск попадать дубли, или не знаю как это назвать - адреса вида /uslugi/blablabla/?pm_source=mail.yandex.ru&pm_block=none&pm_position=0. Они то добавляются и на следующий день удаляются из поиска сами. С основной страницей /uslugi/blablabla/ подобного не происходит, но догадываюсь, что из за дублей она начинает с ними конкурировать в поиске и ее позиция снижается? Что происходит и почему? Как исправить?

Answer 1

[Алексей]

это utm-метки. Просто добавь в robots.txt такую строчку:
Disallow: *?*

Это избавит от дублей страниц

Comments

[IwanIwanow]

Да, но на самом сайте ссылки такого вида отсутствуют. Правильно ли понимаю, что в robots.txt указаны правила для индексирования ссылок, расположенных непосредственно на сайте? Т.е. если робот приходит с другого ресурса по такой ссылке с метками то он ее индексирует еще до того как прочитает файл robots.txt?

[IwanIwanow]

В robots.txt уже была такая строчка:

User-agent: Yandex
Disallow: /?

Т.е. на сколько понимаю, это также должно было пресекать индексацию ссылок со знаком вопроса после слеша, но не спасало. Или там не хватало символа * после знака вопроса?

И вот такой параметр заметил:

Clean-Param: utm_source&utm_medium&utm_campaign

Добавил к нему:

&pm_source&pm_block&pm_position

[Алексей]

IwanIwanow,
/? - работает только для запросов домена , например
domen.ru/?utm=vdsafdsfa&fsdf=ffsdas
*/? - вот такой вариант работает для категорий и домена.
а такой
*?* работает всегда, если встречается знак вопроса.