Все сервисы Хабра
Сообщество IT-специалистов
Ответы на любые вопросы об IT
Профессиональное развитие в IT
Закрыть
Задать вопрос
Eugene_Sh
@Eugene_Sh
Поисковая оптимизация
robots.txt
Как правильно описать запрет на индексацию страниц?
Добрый день.
Есть вот такой роут:
/catalog/{year}/{month}/{day}
и есть
/catalog/{itemId}
Как закрыть первый роут от индексации?
Посмотрев
Яндекс справку
смог сгенерировать (не уверен что правильно):
Disallow: /catalog/*/*/*$
Спасибо за помощь.
Вопрос задан
более трёх лет назад
128 просмотров
Комментировать
Подписаться
1
Оценить
Комментировать
Facebook
Вконтакте
Twitter
Помогут разобраться в теме
Все курсы
Skillbox
SEO-специалист от AMDG
4 месяца
Далее
Digital Skills Academy
Mini-MBA: Интернет-маркетолог
4 месяца
Далее
MAED
Интернет-маркетолог PRO
7 месяцев
Далее
Решения вопроса
1
pcdesign
@pcdesign
Эдак под такое правило:
Disallow: /catalog/*/*/*$
Может попасть и нормальная страница, типа /catalog/razdel/podrazdel/tovar
Имеет смысл добавить к url с календарем какой-нибудь префикс, типа
/calendar/catalog/{year}/{month}/{day}
Или в конец добавить. Смотря что проще.
И спокойно блочить:
Disallow: /calendar/
Ответ написан
более трёх лет назад
Комментировать
Нравится
1
Комментировать
Facebook
Вконтакте
Twitter
Пригласить эксперта
Ответы на вопрос
1
Владислав Иващенко
@ivaschenko
Можно пробовать перечислением годов, как один из вариантов:
Disallow: /catalog/2016/
Disallow: /catalog/2015/
Disallow: /catalog/2014/
...
Ответ написан
более трёх лет назад
Комментировать
Нравится
Комментировать
Facebook
Вконтакте
Twitter
Ваш ответ на вопрос
Войдите, чтобы написать ответ
Войти через центр авторизации
Похожие вопросы
Поисковая оптимизация
Простой
Реклама через mp3, как повлияет на СЕО?
2 подписчика
04 нояб.
237 просмотров
2
ответа
WordPress
+1 ещё
Простой
Как убрать название сайта из выдаче (title)?
1 подписчик
03 нояб.
169 просмотров
3
ответа
Поисковая оптимизация
Сложный
Что будет если поставить 301 редирект в Яндексе таким образом?
2 подписчика
03 окт.
150 просмотров
1
ответ
Поисковая оптимизация
+1 ещё
Простой
Влияет ли наличие целей в метрике на ранжирование?
3 подписчика
01 окт.
163 просмотра
2
ответа
Поисковая оптимизация
+3 ещё
Простой
Нужна ли официальная маркировка покупаемых в SAPE ссылок как реклама?
1 подписчик
15 сент.
179 просмотров
2
ответа
WordPress
+1 ещё
Простой
Сильно ли влияет использование элементора на скорость загрузки сайта?
2 подписчика
06 сент.
480 просмотров
6
ответов
Поисковая оптимизация
Средний
Почему в сниппете не миниатюра, а рандомные картинки с сайта?
1 подписчик
02 сент.
130 просмотров
1
ответ
Поисковая оптимизация
+1 ещё
Простой
Как защитить ленд от дублей при A/B тестировании через 302 редирект?
1 подписчик
02 сент.
79 просмотров
2
ответа
Поисковая оптимизация
+4 ещё
Средний
Есть ли автоматическая монетизация ссылок в СНГ?
2 подписчика
29 авг.
223 просмотра
1
ответ
Поисковая оптимизация
Средний
Помогает ли разметка schema.org влиять на видимость сниппетов QA в поиске?
1 подписчик
27 авг.
1049 просмотров
2
ответа
Показать ещё
Загружается…
Вакансии с Хабр Карьеры
Mobile-Backend QA Engineer (Automation)
SMALL
от 150 000 до 200 000 ₽
React Native разработчик
SMALL
от 180 000 до 250 000 ₽
Senior backend-разработчик в команду управления доступами
SMALL
от 3 400 до 4 700 $
Минуточку внимания
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
Войти через центр авторизации
Закрыть
Реклама