Все сервисы Хабра
Сообщество IT-специалистов
Ответы на любые вопросы об IT
Профессиональное развитие в IT
Закрыть
Задать вопрос
Eugene_Sh
@Eugene_Sh
Поисковая оптимизация
robots.txt
Как правильно описать запрет на индексацию страниц?
Добрый день.
Есть вот такой роут:
/catalog/{year}/{month}/{day}
и есть
/catalog/{itemId}
Как закрыть первый роут от индексации?
Посмотрев
Яндекс справку
смог сгенерировать (не уверен что правильно):
Disallow: /catalog/*/*/*$
Спасибо за помощь.
Вопрос задан
более трёх лет назад
125 просмотров
Комментировать
Подписаться
1
Оценить
Комментировать
Facebook
Вконтакте
Twitter
Решения вопроса
1
pcdesign
@pcdesign
Эдак под такое правило:
Disallow: /catalog/*/*/*$
Может попасть и нормальная страница, типа /catalog/razdel/podrazdel/tovar
Имеет смысл добавить к url с календарем какой-нибудь префикс, типа
/calendar/catalog/{year}/{month}/{day}
Или в конец добавить. Смотря что проще.
И спокойно блочить:
Disallow: /calendar/
Ответ написан
более трёх лет назад
Комментировать
Нравится
1
Комментировать
Facebook
Вконтакте
Twitter
Пригласить эксперта
Ответы на вопрос
1
Владислав Иващенко
@ivaschenko
Можно пробовать перечислением годов, как один из вариантов:
Disallow: /catalog/2016/
Disallow: /catalog/2015/
Disallow: /catalog/2014/
...
Ответ написан
более трёх лет назад
Комментировать
Нравится
Комментировать
Facebook
Вконтакте
Twitter
Ваш ответ на вопрос
Войдите, чтобы написать ответ
Войти через центр авторизации
Похожие вопросы
WordPress
+1 ещё
Средний
Какой SEO-плагин поставить для для Wordpress в 2025м?
1 подписчик
09 мар.
613 просмотров
3
ответа
Nginx
+1 ещё
Простой
Как с Nginx Proxy Manager узнать с какого домена пришли на конечный домен?
1 подписчик
04 мар.
75 просмотров
1
ответ
Поисковая оптимизация
Простой
Url страницы был прописан неправильно и уже в индексе — каким способом исправить?
1 подписчик
02 мар.
69 просмотров
2
ответа
WordPress
+2 ещё
Простой
Почему в wordpress в карточке товара невозможно выбрать основную категорию?
1 подписчик
27 февр.
68 просмотров
0
ответов
Поисковая оптимизация
+3 ещё
Простой
Какой путь исправления проблемы (sitemap.xml с дублями) для Яндекс поиска правильнее?
1 подписчик
27 февр.
119 просмотров
4
ответа
Поисковая оптимизация
+2 ещё
Средний
Чем проверить количество проиндексированных страниц в Яндекс (кроме Я.Вебмастер)?
1 подписчик
26 февр.
71 просмотр
0
ответов
Поисковая оптимизация
+1 ещё
Простой
Нужен ли редирект если вместо sitemap.xml у меня index-sitemap.xml?
1 подписчик
25 февр.
69 просмотров
3
ответа
WordPress
+2 ещё
Простой
Кто же создает sitemap.xml в этом случае?
1 подписчик
24 февр.
111 просмотров
2
ответа
Поисковая оптимизация
+1 ещё
Простой
Как отобразить свой сайт в выдаче Google?
1 подписчик
09 февр.
225 просмотров
1
ответ
WordPress
+1 ещё
Простой
Как оптимизировать картинки в webp с Robin Image Optimize?
1 подписчик
05 февр.
80 просмотров
0
ответов
Показать ещё
Загружается…
Вакансии с Хабр Карьеры
Интернет-маркетолог
UDS Group
•
Ижевск
от 100 000 ₽
Верстальщик сайтов
MST
от 500 $
Project Manager
Doczilla
от 150 000 до 200 000 ₽
Минуточку внимания
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
Войти через центр авторизации
Закрыть
Реклама