Все сервисы Хабра
Сообщество IT-специалистов
Ответы на любые вопросы об IT
Профессиональное развитие в IT
Закрыть
Задать вопрос
Eugene_Sh
@Eugene_Sh
Поисковая оптимизация
robots.txt
Как правильно описать запрет на индексацию страниц?
Добрый день.
Есть вот такой роут:
/catalog/{year}/{month}/{day}
и есть
/catalog/{itemId}
Как закрыть первый роут от индексации?
Посмотрев
Яндекс справку
смог сгенерировать (не уверен что правильно):
Disallow: /catalog/*/*/*$
Спасибо за помощь.
Вопрос задан
более трёх лет назад
125 просмотров
Комментировать
Подписаться
1
Оценить
Комментировать
Facebook
Вконтакте
Twitter
Решения вопроса
1
pcdesign
@pcdesign
Эдак под такое правило:
Disallow: /catalog/*/*/*$
Может попасть и нормальная страница, типа /catalog/razdel/podrazdel/tovar
Имеет смысл добавить к url с календарем какой-нибудь префикс, типа
/calendar/catalog/{year}/{month}/{day}
Или в конец добавить. Смотря что проще.
И спокойно блочить:
Disallow: /calendar/
Ответ написан
более трёх лет назад
Комментировать
Нравится
1
Комментировать
Facebook
Вконтакте
Twitter
Пригласить эксперта
Ответы на вопрос
1
Владислав Иващенко
@ivaschenko
Можно пробовать перечислением годов, как один из вариантов:
Disallow: /catalog/2016/
Disallow: /catalog/2015/
Disallow: /catalog/2014/
...
Ответ написан
более трёх лет назад
Комментировать
Нравится
Комментировать
Facebook
Вконтакте
Twitter
Ваш ответ на вопрос
Войдите, чтобы написать ответ
Войти через центр авторизации
Похожие вопросы
Поисковая оптимизация
Средний
Как лучше поступить если нет title, h1 или description?
1 подписчик
08 апр.
81 просмотр
2
ответа
Поисковая оптимизация
Простой
Можно ли делать редирект страницы одного сайта на другой?
1 подписчик
30 мар.
90 просмотров
2
ответа
Поисковая оптимизация
Простой
Если купил домен а у него были куплены ссылки?
1 подписчик
29 мар.
180 просмотров
2
ответа
htaccess
+2 ещё
Простой
Вебмастер: Страницы-дубли с GET-параметрами?
1 подписчик
27 мар.
113 просмотров
3
ответа
React
+2 ещё
Простой
Как отдавать боту 200 если файла нет?
1 подписчик
24 мар.
133 просмотра
3
ответа
Поисковая оптимизация
Простой
Где учат собирать семантическое ядро(seo)?
1 подписчик
20 мар.
135 просмотров
2
ответа
Поисковая оптимизация
+1 ещё
Простой
Почему страницы стали «URL запрещен к индексированию» Яндексом?
1 подписчик
19 мар.
174 просмотра
1
ответ
WordPress
+1 ещё
Средний
Какой SEO-плагин поставить для для Wordpress в 2025м?
1 подписчик
09 мар.
753 просмотра
3
ответа
Nginx
+1 ещё
Простой
Как с Nginx Proxy Manager узнать с какого домена пришли на конечный домен?
1 подписчик
04 мар.
88 просмотров
1
ответ
Поисковая оптимизация
Простой
Url страницы был прописан неправильно и уже в индексе — каким способом исправить?
1 подписчик
02 мар.
95 просмотров
2
ответа
Показать ещё
Загружается…
Вакансии с Хабр Карьеры
Специалист по созданию мультимедийного контента в сфере изучения языков
LAR
от 40 000 до 70 000 ₽
SEO-специалист (junior)
WebReforma
от 30 000 ₽
SEO специалист
W3Promo
•
Москва
от 40 000 до 80 000 ₽
Минуточку внимания
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
Войти через центр авторизации
Закрыть
Реклама