Все сервисы Хабра
Сообщество IT-специалистов
Ответы на любые вопросы об IT
Профессиональное развитие в IT
Закрыть
Задать вопрос
Eugene_Sh
@Eugene_Sh
Поисковая оптимизация
robots.txt
Как правильно описать запрет на индексацию страниц?
Добрый день.
Есть вот такой роут:
/catalog/{year}/{month}/{day}
и есть
/catalog/{itemId}
Как закрыть первый роут от индексации?
Посмотрев
Яндекс справку
смог сгенерировать (не уверен что правильно):
Disallow: /catalog/*/*/*$
Спасибо за помощь.
Вопрос задан
более трёх лет назад
125 просмотров
Комментировать
Подписаться
1
Оценить
Комментировать
Facebook
Вконтакте
Twitter
Решения вопроса
1
pcdesign
@pcdesign
Эдак под такое правило:
Disallow: /catalog/*/*/*$
Может попасть и нормальная страница, типа /catalog/razdel/podrazdel/tovar
Имеет смысл добавить к url с календарем какой-нибудь префикс, типа
/calendar/catalog/{year}/{month}/{day}
Или в конец добавить. Смотря что проще.
И спокойно блочить:
Disallow: /calendar/
Ответ написан
более трёх лет назад
Комментировать
Нравится
1
Комментировать
Facebook
Вконтакте
Twitter
Пригласить эксперта
Ответы на вопрос
1
Владислав Иващенко
@ivaschenko
Можно пробовать перечислением годов, как один из вариантов:
Disallow: /catalog/2016/
Disallow: /catalog/2015/
Disallow: /catalog/2014/
...
Ответ написан
более трёх лет назад
Комментировать
Нравится
Комментировать
Facebook
Вконтакте
Twitter
Ваш ответ на вопрос
Войдите, чтобы написать ответ
Войти через центр авторизации
Похожие вопросы
WordPress
+1 ещё
Средний
Как повысить релевантность страницы запросу?
1 подписчик
29 мая
105 просмотров
3
ответа
Поисковая оптимизация
Средний
Возможны ли санкции поисковых систем, если в интернет-магазине на странице товара писать просьбу оставить отзыв за вознаграждение?
1 подписчик
22 мая
135 просмотров
3
ответа
Поисковая оптимизация
+1 ещё
Простой
Как сделать исключение в .htaccess для конкретного файла (robots.txt)?
1 подписчик
15 мая
123 просмотра
0
ответов
Поисковая оптимизация
Простой
Где надо хранить sitemap.xml и robots.txt?
1 подписчик
02 мая
106 просмотров
1
ответ
Поисковая оптимизация
+2 ещё
Средний
Как лучше работать с информационным блоком на поддоменах?
2 подписчика
30 апр.
122 просмотра
1
ответ
Поисковая оптимизация
Простой
Google и Yandex не индексирует мой сайт на нескольких языках, почему?
1 подписчик
20 апр.
154 просмотра
3
ответа
Поисковая оптимизация
Средний
Как лучше поступить если нет title, h1 или description?
1 подписчик
08 апр.
163 просмотра
2
ответа
Поисковая оптимизация
Простой
Можно ли делать редирект страницы одного сайта на другой?
1 подписчик
30 мар.
131 просмотр
2
ответа
Поисковая оптимизация
Простой
Если купил домен а у него были куплены ссылки?
1 подписчик
29 мар.
223 просмотра
2
ответа
htaccess
+2 ещё
Простой
Вебмастер: Страницы-дубли с GET-параметрами?
1 подписчик
27 мар.
171 просмотр
3
ответа
Показать ещё
Загружается…
Вакансии с Хабр Карьеры
SEO специалист
W3Promo
•
Москва
от 40 000 до 80 000 ₽
SEO link builder/контент менеджер
GOAT digital
от 700 $
SEO-специалист (бурж, it продукты)
uKit Group
от 120 000 ₽
Минуточку внимания
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
Войти через центр авторизации
Закрыть
Реклама