Все сервисы Хабра
Сообщество IT-специалистов
Ответы на любые вопросы об IT
Профессиональное развитие в IT
Закрыть
Задать вопрос
Eugene_Sh
@Eugene_Sh
Поисковая оптимизация
robots.txt
Как правильно описать запрет на индексацию страниц?
Добрый день.
Есть вот такой роут:
/catalog/{year}/{month}/{day}
и есть
/catalog/{itemId}
Как закрыть первый роут от индексации?
Посмотрев
Яндекс справку
смог сгенерировать (не уверен что правильно):
Disallow: /catalog/*/*/*$
Спасибо за помощь.
Вопрос задан
более трёх лет назад
126 просмотров
Комментировать
Подписаться
1
Оценить
Комментировать
Facebook
Вконтакте
Twitter
Решения вопроса
1
pcdesign
@pcdesign
Эдак под такое правило:
Disallow: /catalog/*/*/*$
Может попасть и нормальная страница, типа /catalog/razdel/podrazdel/tovar
Имеет смысл добавить к url с календарем какой-нибудь префикс, типа
/calendar/catalog/{year}/{month}/{day}
Или в конец добавить. Смотря что проще.
И спокойно блочить:
Disallow: /calendar/
Ответ написан
более трёх лет назад
Комментировать
Нравится
1
Комментировать
Facebook
Вконтакте
Twitter
Пригласить эксперта
Ответы на вопрос
1
Владислав Иващенко
@ivaschenko
Можно пробовать перечислением годов, как один из вариантов:
Disallow: /catalog/2016/
Disallow: /catalog/2015/
Disallow: /catalog/2014/
...
Ответ написан
более трёх лет назад
Комментировать
Нравится
Комментировать
Facebook
Вконтакте
Twitter
Ваш ответ на вопрос
Войдите, чтобы написать ответ
Войти через центр авторизации
Похожие вопросы
Поисковая оптимизация
+3 ещё
Простой
Нужна ли официальная маркировка покупаемых в SAPE ссылок как реклама?
1 подписчик
15 сент.
129 просмотров
2
ответа
WordPress
+1 ещё
Простой
Сильно ли влияет использование элементора на скорость загрузки сайта?
2 подписчика
06 сент.
413 просмотров
6
ответов
Поисковая оптимизация
Средний
Почему в сниппете не миниатюра, а рандомные картинки с сайта?
1 подписчик
02 сент.
121 просмотр
1
ответ
Поисковая оптимизация
+1 ещё
Простой
Как защитить ленд от дублей при A/B тестировании через 302 редирект?
1 подписчик
02 сент.
69 просмотров
2
ответа
Поисковая оптимизация
+4 ещё
Средний
Есть ли автоматическая монетизация ссылок в СНГ?
2 подписчика
29 авг.
182 просмотра
1
ответ
Поисковая оптимизация
Средний
Помогает ли разметка schema.org влиять на видимость сниппетов QA в поиске?
1 подписчик
27 авг.
1034 просмотра
2
ответа
Поисковая оптимизация
+3 ещё
Простой
Как убедиться, что одностраничный сайт (SPA) корректно индексируется поисковыми системами Google и Яндекс?
7 подписчиков
26 авг.
1594 просмотра
3
ответа
Поисковая оптимизация
Средний
Перейдут ли фильтры если сделать 301?
1 подписчик
06 авг.
125 просмотров
3
ответа
Поисковая оптимизация
Простой
Дублирующийся контент — действительно ли это так плохо?
1 подписчик
24 июл.
169 просмотров
3
ответа
Поисковая оптимизация
Простой
Какой регион выставлять в яндекс вебмастере и яндекс бизнесе, если у меня сайт идет по всей России?
1 подписчик
18 июл.
148 просмотров
1
ответ
Показать ещё
Загружается…
Вакансии с Хабр Карьеры
SEO manager
DigitalHR
•
Ереван
от 120 000 до 180 000 ₽
Project manager / Resource manager
Regex SEO
от 1 500 до 3 000 $
SEO специалист
Скобеев и Партнееры
•
Тамбов
от 60 000 до 150 000 ₽
Минуточку внимания
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
Войти через центр авторизации
Закрыть
Реклама