Закрытие страницы site.ru/uslugi/ от индексации, без закрытия страниц /uslugi/1/, uslugi/2/ и т.д. в robots.txt?

Question

[IvanovIvanIvanych]

Доброго времени суток. Подскажите пожалуйста, если в robots.txt пропишу следующие строки:

Disallow: /uslugi/
Allow: /uslugi/*

Перестанут ли поисковые роботы яндекса и гугла индексировать одну лишь страницу site.ru/uslugi/ и она покинет результаты поиска, при том что все остальные страницы (например site.ru/uslugi/montaj/) продолжат индексироваться и из поиска никуда не денутся?

Comments

[Рамис]

Может robots.txt?

[IvanovIvanIvanych]

Рамис, да

[Рамис]

IvanovIvanIvanych, правила robots.txt можно проверить в Яндекс Вебмастере.
Для примера можно посмотреть что закроет он индексации данный пример:

User-agent: *
Disallow: /uslugi
Allow: /uslugi/

Answer 1

[Виктор Петров]

Не так это делается. Достаточно вот такой формулы:
Disallow: /uslugi/$
URL, содержащие какие-то знаки после /uslugi/ - будут сканироваться.
И да, у вас глобальная ошибка с пониманием назначения robots.txt. Он запрещает и разрешает сканирование, а не индексацию. Если хотите запретить индексацию - используйте метатеги и канонические адреса.

Comments

[IvanovIvanIvanych]

Именно Disallow: /uslugi/$ а не Allow: /uslugi/$ ?

[Виктор Петров]

IvanovIvanIvanych, $ на конце урла обозначает его конец. Всё, что идёт после - доступно для сканирования.
В любом случае, после любых правок - велкам https://www.google.com/webmasters/tools/robots-tes... и в аналогичный инструмент Яндекс-Вебмастера, если есть баги и ошибки - сразу будет понятно.
Мы же запрещаем категорию, а подкатегории не трогаем?
Команда Allow вообще обрабатывается не очень корректно, и лично я бы рекомендовал использовать её только для разрешения на сканирование специфических типов файлов (css, js, картинки).
Небольшой мануал по настройкам robots.txt, я там вкратце подытожил несколько мифов и устаревших практик, может быть, будет полезно.