Все сервисы Хабра
Сообщество IT-специалистов
Ответы на любые вопросы об IT
Профессиональное развитие в IT
Закрыть
Задать вопрос
Eugene_Sh
@Eugene_Sh
Поисковая оптимизация
robots.txt
Как правильно описать запрет на индексацию страниц?
Добрый день.
Есть вот такой роут:
/catalog/{year}/{month}/{day}
и есть
/catalog/{itemId}
Как закрыть первый роут от индексации?
Посмотрев
Яндекс справку
смог сгенерировать (не уверен что правильно):
Disallow: /catalog/*/*/*$
Спасибо за помощь.
Вопрос задан
более трёх лет назад
127 просмотров
Комментировать
Подписаться
1
Оценить
Комментировать
Facebook
Вконтакте
Twitter
Решения вопроса
1
pcdesign
@pcdesign
Эдак под такое правило:
Disallow: /catalog/*/*/*$
Может попасть и нормальная страница, типа /catalog/razdel/podrazdel/tovar
Имеет смысл добавить к url с календарем какой-нибудь префикс, типа
/calendar/catalog/{year}/{month}/{day}
Или в конец добавить. Смотря что проще.
И спокойно блочить:
Disallow: /calendar/
Ответ написан
более трёх лет назад
Комментировать
Нравится
1
Комментировать
Facebook
Вконтакте
Twitter
Пригласить эксперта
Ответы на вопрос
1
Владислав Иващенко
@ivaschenko
Можно пробовать перечислением годов, как один из вариантов:
Disallow: /catalog/2016/
Disallow: /catalog/2015/
Disallow: /catalog/2014/
...
Ответ написан
более трёх лет назад
Комментировать
Нравится
Комментировать
Facebook
Вконтакте
Twitter
Ваш ответ на вопрос
Войдите, чтобы написать ответ
Войти через центр авторизации
Похожие вопросы
Поисковая оптимизация
Сложный
Что будет если поставить 301 редирект в Яндексе таким образом?
2 подписчика
03 окт.
118 просмотров
1
ответ
Поисковая оптимизация
+1 ещё
Простой
Влияет ли наличие целей в метрике на ранжирование?
3 подписчика
01 окт.
118 просмотров
2
ответа
Поисковая оптимизация
+3 ещё
Простой
Нужна ли официальная маркировка покупаемых в SAPE ссылок как реклама?
1 подписчик
15 сент.
153 просмотра
2
ответа
WordPress
+1 ещё
Простой
Сильно ли влияет использование элементора на скорость загрузки сайта?
2 подписчика
06 сент.
452 просмотра
6
ответов
Поисковая оптимизация
Средний
Почему в сниппете не миниатюра, а рандомные картинки с сайта?
1 подписчик
02 сент.
126 просмотров
1
ответ
Поисковая оптимизация
+1 ещё
Простой
Как защитить ленд от дублей при A/B тестировании через 302 редирект?
1 подписчик
02 сент.
72 просмотра
2
ответа
Поисковая оптимизация
+4 ещё
Средний
Есть ли автоматическая монетизация ссылок в СНГ?
2 подписчика
29 авг.
200 просмотров
1
ответ
Поисковая оптимизация
Средний
Помогает ли разметка schema.org влиять на видимость сниппетов QA в поиске?
1 подписчик
27 авг.
1043 просмотра
2
ответа
Поисковая оптимизация
+3 ещё
Простой
Как убедиться, что одностраничный сайт (SPA) корректно индексируется поисковыми системами Google и Яндекс?
7 подписчиков
26 авг.
1618 просмотров
3
ответа
Поисковая оптимизация
Средний
Перейдут ли фильтры если сделать 301?
1 подписчик
06 авг.
129 просмотров
3
ответа
Показать ещё
Загружается…
Вакансии с Хабр Карьеры
Верстальщик / фронтендер для браузерного расширения
DevTeam.Space
от 1 000 до 2 000 $
SRE/DevOps инженер
Сбер
•
Москва
от 200 000 до 300 000 ₽
Старший системный администратор (Production Infrastructure)
TravelLine
•
Санкт-Петербург
от 250 000 ₽
Минуточку внимания
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
Войти через центр авторизации
Закрыть
Реклама