Как спрятать для поисковых систем некоторые служебные страницы?

Question

[Искатель]

Хочу сделать так, чтобы поисковые системы не индексировали служебные страницы сайта. Добавляю директивы Disallow в robots.txt, только вот имею сомнение в синтаксисе этой директивы. Нужно, чтобы в индекс не попадали страницы с параметрами, такие:
https://domain.ltd/videos/fav?o=tf&t=m
и такие:
https://domain.ltd/videos?o=tf&t=m
Добавлена строка:
Disallow: /videos/*?
А вот URL второго типа не пойму какой директивой убрать. Подскажите плиз.
И ещё, я тут в одном месте прочитал, что выражение со звёздочкой и вопросительным знаком работает только для Googlebot, это правда? Хотелось бы ещё для YandexBot и bingbot убрать.

Answer 1

[Злой Снеговик]

Noindex, nofollow в параметры ссылки пробовали?

Comments

[Искатель]

Это не обычная ссылка, которая в коде тегом создаётся, это страница, на которую попадаешь через форму, скорее всего тут cms редирект делает.

Answer 2

[Антон Величко]

И ещё, я тут в одном месте прочитал, что выражение со звёздочкой и вопросительным знаком работает только для Googlebot, это правда? Хотелось бы ещё для YandexBot и bingbot убрать.

Каждая поисковая система обрабатывает директивы из robots.txt по-своему.
Чтобы не гадать и надежно закрыть от индекса служебные страницы, необходимо задать до закрывающего /head на всех страницах сайта , которые решили закрыть, в мета-теге robots:

При этом, если ранее эти страницы были закрыты в robots.txt запрещающими директивами, то директивы необходимо удалить (для тех страниц, где прописали в коде страниц в мета-теге robots: )