Задать вопрос
@shershnovdima

Проверьте файл robots.txt. Я верно заполнил?

Добрый день!
Задача: основная страница должна индексироваться. С основной страницы идет ссылка на каталог /rega/

Каталог /rega/ не должен индексироваться, там будет 302 редирект на другой ресурс. Я хочу чтобы поисковые роботы не спалили это.

В генераторе создал такой robots.txt

User-agent: *
Disallow: 
Disallow: /rega/


Я все верно указал в файле?
  • Вопрос задан
  • 101 просмотр
Подписаться 1 Простой Комментировать
Помогут разобраться в теме Все курсы
  • Яндекс Практикум
    Python-разработчик
    10 месяцев
    Далее
  • Skillfactory
    DevOps-инженер
    6 месяцев
    Далее
  • Нетология
    Python-разработчик с нуля
    6 месяцев
    Далее
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы