Как запретить индексировать реферальные ссылки через robots.txt?

Question

[Merle7]

Здравствуйте, нужно запретить для индексации в Яндексе и Гугле реферальные ссылки
вида /?promo=EXAMPLE с помощью файла робота

И еще: может быть, сделать 301-редирект на обычный URL? Но тогда в кукисы информация не запишется и автоматически при регистрации бонусы от реферала не применятся, верно?

А если использовать атрибут canonical?

Подскажите, пожалуйста, как лучше поступить. Благодарю за помощь!

Answer 1

[Сергей Арсентьев]

disallow: */?promo=*
но поисковики не обязательно учитывают robots для индексации или неиндексации, особенно гугл.
canonical обязательно - на основную страницу.
а редиректы не надо.
и всё должно быть норм.

Comments

[Merle7]

Здравствуйте, спасибо за ответ. Записывать прямо так, со звездочной на конце после "promo="?

[Сергей Арсентьев]

Merle7, ну да, * это любые символы

получается, что будет отсекать:
https://site.ru/page.html?promo=88888
https://site.ru/page222.html?promo=99999

то есть все url где внутри есть конструкция ?promo=

[Merle7]

Сергей Арсентьев, здравствуйте, яндекс в кабинете вебмастера рекомендует использовать clean param. Можно ли disallow: */?promo=* заменить на clean param? Или не имеет смысла и все будет работать точно так же?
Как в случае с clean param нужно прописать правило для ссылок вида site.ru/?promo=EXAMPLE ?

[Сергей Арсентьев]

Merle7, я почти не пользуюсь clean param так как он для меня бессмысленен.
задача обычно стоит простая - исключить некоторые страницы из индекса, robots для этого универсальнее и годится для всех поисковиков.

а clean_param он из большего для того, чтобы какие-то параметры отбросить, а какие-то оставить.
то есть если у вас site.ru/?promo=EXAMPLE&param2=id&param3=new&param4=name
и нужно (по каким-то причинам) чтобы осталось только проиндексированным site.ru/?param3=new
тогда да.
но обычно достаточно выкинуть мусор и оставить правильные страницы.
в этом случае robots + canonical проще и надежнее.

но если вдруг robots не срабатывает или есть желание, ну попробуйте и этот вариант - причем можно одновременно и robots и clean param.

в данном случае clean_param: promo исключит ваш параметр и оставит пустую страницу https://disk.yandex.com/i/QINXZW4jQf8PVQ