Как запретить в robots.txt все параметры кроме определённых?

Question

[Дмитрий]

Как запретить все GET-параметры в robots.txt, но кроме определенных. Например таких как: ?page= и ?tag=
То есть чтобы:
Все параметры были недоступны для индексации Disallow
Но параметры ?page= и ?tag= доступны Allow

Comments

[Антон]

Disallow: /*?*
Allow /*?*page=
Allow /*?*tag=

[Дмитрий]

Антон, я так пробовал. не получается.

[Антон]

dmkaruev, попробуйте без второй звездочки

Allow /*?page=
Allow /*?tag=

[Дмитрий]

Антон, изначально так и пробовал. Там смысл в том, что Disallow: /*?* гасит вообще все геты неважно в начала файла или в конце. Режет все, даже те что нужно. Но соответственно до сих пор в поисках есть ли способ закрыть все кроме определенных.

[wisgest]

Учтём ещё, что директива Allow не стандартная и может не всеми учитываться.

Answer 1

[Александр Денисов]

Такое лучше канониклом закрывать.
Если уверены, что необходимо закрывать от сканирования, тогда попробуйте поэкспериментировать с такой конструкцией:

Disallow: *?*
Allow: *?page=*
Allow: *?tag=*

И ещё не забудьте открыть ссылки на ?fbclid=, на такие ссылки часто ссылаются пользователи, и если их закрыть, ссылочный вес не будет передаваться.