Как закрыть такие страницы от индекса?

Question

[bossigorxxx]

Всем привет! Как можно закрыть от индекса такие мусорные страницы?

/ginseng-for-male-potency/безымянныйололол/
/ginseng-serum-of-youth/безымянныйлллг/
/korean-red-ginseng-extract-gold-240/безымянныйдш-2/

Answer 1

[Александр Денисов]

Исходя из того, что среди примеров единственный паттерн, который присутствует, это "/безымянный", следовательно такие страницы можно закрыть в robots.txt, добавив правило:
Disallow: */xn--90aigioga3id1b*
(кириллицу в robots-e надо переводить через пуникод)

Только проверьте, чтобы в тех урлах, которые вы не хотите закрывать от индексации не присутствовало в url вхождение "/безымянный".