Как закрыть от сканирования все внутренние страницы папки?

Question

[Andrnofollow]

В категории сайта есть большое количество страниц, которые мне не нужны. При этом сама категория должна быть в индексе. Как это правильно оформить через robots.txt?
Сейчас я прописал так, но не знаю правильно ли это:
Disallow: /category
Allow: /category/$

Answer 1

[Александр Денисов]

У вас страница категории заканчивается на слеш?
Если да, то я бы подкорректировал:

Disallow: /category/
Allow: /category/$

Для проверки воспользуйтесь инструментом "Проверка robots.txt" в Яндекс.Вебмастере. В GSC так же есть аналогичный инструмент.