Как закрыть часть url от индексации в robots?

Question

[Owl1981]

Здравствуйте!
Необходимо закрыть часть URL.
Пример:
site.ru/повторяющееся слово_какое-то слово1.html
site.ru/повторяющееся слово_какое-то слово2.html
site.ru/повторяющееся слово_какое-то слово3.html
и т.д. ...
Необходимо, чтобы от индексирования закрывалось расширение .html только при условии, что в URL есть "повторяющееся слово_какое-то слово". В остальных случаях расширение .html должно остаться.
Огромная просьба помочь советом. Сам не программист, уже голову поломал))))

Answer 1

[igorux]

Если я правильно понял ваше условие, то:
Disallow: /*повторяющееся слово*.html$

Использование спецсимволов * и $

Используйте инструменты проверки доступности документов для индексации в вебмастерских консолях поисковиков. После правки robots проверяйте, разрешено ли к индексации то, что вы хотели разрешить и т. д.

Comments

[Owl1981]

Да, это помогло. огромное спасибо! Я обычно пытаюсь найти решение сам, но тут просто голову сломал!)))

Answer 2

[Роман]

Значение пути используется для определения того, должно ли правило применяться к конкретному URL на сайте. За исключением подстановочных знаков путь должен совпадать с началом любого действующего и подходящего URL. Не 7-битные символы ASCII в пути могут быть добавлены как символы UTF-8 или как экранированные значения в кодировке UTF-8

Google, Bing, Yahoo и Ask поддерживают определенные подстановочные знаки для значений путей. Вот их полный список:

• * обозначает 0 или более экземпляров любого действительного символа.
  
  
• $ обозначает конец URL.
  

Поэтому такое условие едва ли получится составить, только прописать вручную если все возможные ссылки на сайте, ну или использовать эти два постановочных знака, для задания простого условия.

Answer 3

[Owl1981]

Здравствуйте!
Продолжаю свое образование :) Сейчас столкнулся с проблемой запрета индексации в robots диапазона URL, начинающегося с заглавных букв. Перерыл весь интернет. С цифрами нашел. А с буквами нет.
Можно ли указать запрет директорий с диапазоном заглавных букв A-Z после niviuk_ ?
С уважением, Александр.