Все сервисы Хабра
Сообщество IT-специалистов
Ответы на любые вопросы об IT
Профессиональное развитие в IT
Закрыть
Задать вопрос
Eugene_Sh
@Eugene_Sh
Поисковая оптимизация
robots.txt
Как правильно описать запрет на индексацию страниц?
Добрый день.
Есть вот такой роут:
/catalog/{year}/{month}/{day}
и есть
/catalog/{itemId}
Как закрыть первый роут от индексации?
Посмотрев
Яндекс справку
смог сгенерировать (не уверен что правильно):
Disallow: /catalog/*/*/*$
Спасибо за помощь.
Вопрос задан
более трёх лет назад
125 просмотров
Комментировать
Подписаться
1
Оценить
Комментировать
Facebook
Вконтакте
Twitter
Решения вопроса
1
pcdesign
@pcdesign
Эдак под такое правило:
Disallow: /catalog/*/*/*$
Может попасть и нормальная страница, типа /catalog/razdel/podrazdel/tovar
Имеет смысл добавить к url с календарем какой-нибудь префикс, типа
/calendar/catalog/{year}/{month}/{day}
Или в конец добавить. Смотря что проще.
И спокойно блочить:
Disallow: /calendar/
Ответ написан
более трёх лет назад
Комментировать
Нравится
1
Комментировать
Facebook
Вконтакте
Twitter
Пригласить эксперта
Ответы на вопрос
1
Владислав Иващенко
@ivaschenko
Можно пробовать перечислением годов, как один из вариантов:
Disallow: /catalog/2016/
Disallow: /catalog/2015/
Disallow: /catalog/2014/
...
Ответ написан
более трёх лет назад
Комментировать
Нравится
Комментировать
Facebook
Вконтакте
Twitter
Ваш ответ на вопрос
Войдите, чтобы написать ответ
Войти через центр авторизации
Похожие вопросы
Поисковая оптимизация
+1 ещё
Простой
Как сделать исключение в .htaccess для конкретного файла (robots.txt)?
1 подписчик
14 часов назад
50 просмотров
0
ответов
Поисковая оптимизация
Простой
Где надо хранить sitemap.xml и robots.txt?
1 подписчик
02 мая
89 просмотров
1
ответ
Поисковая оптимизация
+2 ещё
Средний
Как лучше работать с информационным блоком на поддоменах?
2 подписчика
30 апр.
101 просмотр
1
ответ
Поисковая оптимизация
Простой
Google и Yandex не индексирует мой сайт на нескольких языках, почему?
1 подписчик
20 апр.
149 просмотров
3
ответа
Поисковая оптимизация
Средний
Как лучше поступить если нет title, h1 или description?
1 подписчик
08 апр.
144 просмотра
2
ответа
Поисковая оптимизация
Простой
Можно ли делать редирект страницы одного сайта на другой?
1 подписчик
30 мар.
121 просмотр
2
ответа
Поисковая оптимизация
Простой
Если купил домен а у него были куплены ссылки?
1 подписчик
29 мар.
209 просмотров
2
ответа
htaccess
+2 ещё
Простой
Вебмастер: Страницы-дубли с GET-параметрами?
1 подписчик
27 мар.
159 просмотров
3
ответа
React
+2 ещё
Простой
Как отдавать боту 200 если файла нет?
1 подписчик
24 мар.
146 просмотров
3
ответа
Поисковая оптимизация
Простой
Где учат собирать семантическое ядро(seo)?
1 подписчик
20 мар.
170 просмотров
2
ответа
Показать ещё
Загружается…
Вакансии с Хабр Карьеры
SEO-специалист
IT House
от 60 000 до 120 000 ₽
SEO-специалист (бурж, it продукты)
uKit Group
от 120 000 ₽
Контент-менеджер / Менеджер продукта
SpecGo
•
Москва
от 80 000 до 120 000 ₽
Минуточку внимания
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
Войти через центр авторизации
Закрыть
Реклама