И ещё, я тут в одном месте прочитал, что выражение со звёздочкой и вопросительным знаком работает только для Googlebot, это правда? Хотелось бы ещё для YandexBot и bingbot убрать.
Каждая поисковая система обрабатывает директивы из robots.txt по-своему.
Чтобы не гадать и надежно закрыть от индекса служебные страницы, необходимо задать до закрывающего /head на всех страницах сайта , которые решили закрыть, в мета-теге robots:
При этом, если ранее эти страницы были закрыты в robots.txt запрещающими директивами, то директивы необходимо удалить (для тех страниц, где прописали в коде страниц в мета-теге robots: )