Как сделать исключения для disallow в robots.txt?

Question

[po4emu4ka2020]

Здравствуйте, коллеги!
Подскажите, пожалуйста, в такой ситуации:
Имеется robots.txt с правилами:
Allow: */catalog
Allow: *?utm_source=market.yandex.ru

Disallow: *&utm
Disallow: *?
Disallow: *index.php

Будет ли индексироваться страница по такому url?
site.ru/catalog/product1?utm_source=market.yandex.ru&utm_term=111

Или все-таки префикс *&utm на Disallow будет приоритет выше иметь?
Тогда как сделать так, чтобы Allow: *?utm_source=market.yandex.ru имел выше приоритет?

Буду благодарен вашим советам.

Answer 1

[Виктор Петров]

robots.txt - это про сканирование, а не индексацию. URL с параметрами надо склеивать. Для Яндекс есть Clean-param, прекрасно работает. Для прочего есть канонические адреса и мета robots.

Comments

[po4emu4ka2020]

Спасибо. Тогда я неверно сформулировал вопрос. Мне нужно узнать, смогут ли роботы яндекса достучаться до указанной ссылки или нет. Как я понял, смогут, вроде. Но я не уверен.