Задать вопрос
@Torvolf
яндекс

Почему яндекс индексирует запрещенные страницы?

На сайте установлено правило в роботс.тхт
Disallow: /portfolio/?
Disallow: /proekt?

Но яндекс все равно индексирует такие страницы как
https://site.ru/portfolio/stellazh-foto-12/
https://site.ru/portfolio/peregorodka-foto-40/

Почему? Что-то неверно указано в правилах?
  • Вопрос задан
  • 366 просмотров
1 комментарий
Подписаться 1 Простой 1 комментарий
Пригласить эксперта
Ответы на вопрос 2
vpetrov
@vpetrov
частный SEO-специалист
Выше уже сказали, что директивы оформлены с ошибками.
Отмечу нюанс: robots.txt управляет сканированием, не индексацией. Это совершенно разные вещи.
Ответ написан
Комментировать
Комментировать
mrkaban
@mrkaban
СЗИ от НСД / СКЗИ / ViPNet / Python / Django / SEO
В яндекс вебмастере есть инструмент проверки роботс, с его помощью проверь запрещаются ли конкретные урлы через роботс
Ответ написан
Комментировать
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы
Вакансии с Хабр Карьеры
Дизайнер маркетинговых материалов в аналитический стартап по маркетплейсам
ТОРГСТАТ
от 40 000 до 80 000 ₽
Разработчик фронтенда на TypeScript Middle+ / Senior в аналитический стартап
ТОРГСТАТ
от 200 000 до 300 000 ₽
Интернет маркетолог
АудиоПривет • Нижний Новгород
от 110 000 ₽
Ещё вакансии