Как закрыть от индексации?

Question

[starkingdom]

Привет всем! Подскажите, как можно закрыть от индексации страницы которые оканчиваются, например так ?utm_referer
Я например не знаю сколько таких страниц и что идёт перед ними, как это можно сделать?

Comments

[mayton2019]

Если все такие страницы положить в один path то можно сделать правило для robots.txt

Disallow: /only_utm

[starkingdom]

mayton2019, то бишь страницы все ровно придётся искать вручную?

[mayton2019]

starkingdom, твой вопрос то в чем? Закрыть от поиска? Или искать?

[starkingdom]

mayton2019, мой вопрос таков, я могу как-то сделать, чтобы если в ссылке, любой ссылке, присутствовала какая-то строчка или символ например, то если он есть, то эта ссылка будет сразу исключаться из индексации

[mayton2019]

starkingdom, я такого не знаю. Роботам индексаторам это безразлично. Скрейперам - тем более.

Answer 1

[As56]

В какой-то cms генерится, да и ладно, поисковик сам выбросит эти страницы из индекса

Answer 2

[Пума Тайланд]

А зачем, там есть каноникалы у всех страниц утм метки с рекламы никак не влияют по итогу на индексацию

Answer 3

[Виктор Петров]

Сейчас я бы рекомендовал использовать Clean-param в robots.txt. Таким образом Яндекс поймёт, о какой страничке речь, и склеит все дубли. Таким образом, вы не потеряете в поведенческих сигналах для основной посадки (как было бы при использовании Disallow), и проблема будет устранена.

Comments

[Данил Ларионов]

Для Яндекса как и для гугла теперь robots не является абсолютным указанием индексации и не индексации.

[Виктор Петров]

Данил Ларионов, так всегда было. Но надо сильно постараться, чтобы это стало правилом.

Answer 4

[Данил Ларионов]

Попроси программиста помочь массово добавлять на страницы такого типа в разделе значение для робота Noindex, Follow если не нужно что бы, ходили Noindex, Nofollow