@Andrnofollow

Как закрыть от сканирования все внутренние страницы папки?

В категории сайта есть большое количество страниц, которые мне не нужны. При этом сама категория должна быть в индексе. Как это правильно оформить через robots.txt?
Сейчас я прописал так, но не знаю правильно ли это:
Disallow: /category
Allow: /category/$
  • Вопрос задан
  • 28 просмотров
Пригласить эксперта
Ответы на вопрос 1
Grinvind
@Grinvind
Помогаю увеличивать трафик с поисковых систем
У вас страница категории заканчивается на слеш?
Если да, то я бы подкорректировал:
Disallow: /category/
Allow: /category/$

Для проверки воспользуйтесь инструментом "Проверка robots.txt" в Яндекс.Вебмастере. В GSC так же есть аналогичный инструмент.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы