Все сервисы Хабра
Сообщество IT-специалистов
Ответы на любые вопросы об IT
Профессиональное развитие в IT
Закрыть
Задать вопрос
Eugene_Sh
@Eugene_Sh
Поисковая оптимизация
robots.txt
Как правильно описать запрет на индексацию страниц?
Добрый день.
Есть вот такой роут:
/catalog/{year}/{month}/{day}
и есть
/catalog/{itemId}
Как закрыть первый роут от индексации?
Посмотрев
Яндекс справку
смог сгенерировать (не уверен что правильно):
Disallow: /catalog/*/*/*$
Спасибо за помощь.
Вопрос задан
более трёх лет назад
126 просмотров
Комментировать
Подписаться
1
Оценить
Комментировать
Facebook
Вконтакте
Twitter
Решения вопроса
1
pcdesign
@pcdesign
Эдак под такое правило:
Disallow: /catalog/*/*/*$
Может попасть и нормальная страница, типа /catalog/razdel/podrazdel/tovar
Имеет смысл добавить к url с календарем какой-нибудь префикс, типа
/calendar/catalog/{year}/{month}/{day}
Или в конец добавить. Смотря что проще.
И спокойно блочить:
Disallow: /calendar/
Ответ написан
более трёх лет назад
Комментировать
Нравится
1
Комментировать
Facebook
Вконтакте
Twitter
Пригласить эксперта
Ответы на вопрос
1
Владислав Иващенко
@ivaschenko
Можно пробовать перечислением годов, как один из вариантов:
Disallow: /catalog/2016/
Disallow: /catalog/2015/
Disallow: /catalog/2014/
...
Ответ написан
более трёх лет назад
Комментировать
Нравится
Комментировать
Facebook
Вконтакте
Twitter
Ваш ответ на вопрос
Войдите, чтобы написать ответ
Войти через центр авторизации
Похожие вопросы
Поисковая оптимизация
+3 ещё
Средний
Yandex не индексирует изображения на сайте, почему?
2 подписчика
вчера
659 просмотров
1
ответ
Поисковая оптимизация
+2 ещё
Средний
Нужно ли как-то решать проблему в файле robots (Правило, которое не учитывается Googlebot: host)?
1 подписчик
25 июн.
87 просмотров
1
ответ
Поисковая оптимизация
+1 ещё
Простой
Улучшают ли позиции в ПС разные «оптимизаторы» текстов?
1 подписчик
19 июн.
84 просмотра
1
ответ
Поисковая оптимизация
Средний
Каким способом правильно закупить ссылки на главную и внутренние страницы?
1 подписчик
18 июн.
73 просмотра
1
ответ
WordPress
+1 ещё
Средний
Как повысить релевантность страницы запросу?
1 подписчик
29 мая
165 просмотров
3
ответа
Поисковая оптимизация
Средний
Возможны ли санкции поисковых систем, если в интернет-магазине на странице товара писать просьбу оставить отзыв за вознаграждение?
1 подписчик
22 мая
157 просмотров
3
ответа
Поисковая оптимизация
+1 ещё
Простой
Как сделать исключение в .htaccess для конкретного файла (robots.txt)?
1 подписчик
15 мая
141 просмотр
0
ответов
Поисковая оптимизация
Простой
Где надо хранить sitemap.xml и robots.txt?
1 подписчик
02 мая
113 просмотров
1
ответ
Поисковая оптимизация
+2 ещё
Средний
Как лучше работать с информационным блоком на поддоменах?
2 подписчика
30 апр.
144 просмотра
1
ответ
Поисковая оптимизация
Простой
Google и Yandex не индексирует мой сайт на нескольких языках, почему?
1 подписчик
20 апр.
161 просмотр
3
ответа
Показать ещё
Загружается…
Вакансии с Хабр Карьеры
SEO link builder/контент менеджер
GOAT digital
от 700 $
Ведущий программист 1С
Мастер Софт
•
Саратов
от 200 000 до 260 000 ₽
Интернет-маркетолог
Stream Telecom
•
Санкт-Петербург
от 90 000 до 120 000 ₽
Минуточку внимания
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
Войти через центр авторизации
Закрыть
Реклама