Как запретить индексацию подобных ссылок через robots?

Question

[Камил]

Здравствуйте. Подскажите пожалуйста.
Есть форум Xenforo, подключен к ЯД вебмастеру, вижу что бот ищет по страницам с неправильным окончаниями, как бы мне кажется что этого делать не стоит, как ограничить такие окончания?

spoiler

User-agent: *
Disallow: /find-new/
Disallow: /account/
Disallow: /attachments/
Disallow: /goto/
Disallow: /posts/
Disallow: /login/
Disallow: /admin.php
Disallow: /tags/
Disallow: /search/
Disallow: /privacy-policy/
Disallow: */trophies/
Disallow: /lost-password/
Disallow: */help/
Allow: /

User-agent: Googlebot
Disallow: /find-new/
Disallow: /account/
Disallow: /attachments/
Disallow: /goto/
Disallow: /posts/
Disallow: /login/
Disallow: /admin.php
Disallow: /tags/
Disallow: /search/
Disallow: /privacy-policy/
Disallow: */trophies/
Disallow: /lost-password/
Disallow: */help/
Allow: /

User-agent: Yandex
Disallow: /find-new/
Disallow: /account/
Disallow: /attachments/
Disallow: /goto/
Disallow: /posts/
Disallow: /login/
Disallow: /admin.php
Disallow: /tags/
Disallow: /search/
Disallow: /privacy-policy/
Disallow: */trophies/
Disallow: /lost-password/
Disallow: */help/
Allow: /

Comments

[asc3ny]

Есть пример лога доступа веб-сервера?

Answer 1

[Артур]

Disallow: *?*
Либо

Disallow: *?order=*
Disallow: *?selected=*

Answer 2

[Vladimir Kiper]

Лучше пропишите на них <meta name="robots" content="noindex, follow">
robots.txt не всегда спасает. А по ссылкам боты все равно ходят... если они есть. Вопрос что вам надо чтоб он индексировал. Чтобы закрыть от индексации <meta name="robots" content="noindex, follow"> лучше всего!