Задать вопрос
@Torvolf
яндекс

Почему яндекс индексирует запрещенные страницы?

На сайте установлено правило в роботс.тхт
Disallow: /portfolio/?
Disallow: /proekt?

Но яндекс все равно индексирует такие страницы как
https://site.ru/portfolio/stellazh-foto-12/
https://site.ru/portfolio/peregorodka-foto-40/

Почему? Что-то неверно указано в правилах?
  • Вопрос задан
  • 385 просмотров
1 комментарий
Подписаться 1 Простой 1 комментарий
Помогут разобраться в теме Все курсы
  • Яндекс Практикум
    Python-разработчик
    10 месяцев
    Далее
  • Skillfactory
    DevOps-инженер
    6 месяцев
    Далее
  • Нетология
    Python-разработчик с нуля
    6 месяцев
    Далее
Пригласить эксперта
Ответы на вопрос 2
vpetrov
@vpetrov
частный SEO-специалист
Выше уже сказали, что директивы оформлены с ошибками.
Отмечу нюанс: robots.txt управляет сканированием, не индексацией. Это совершенно разные вещи.
Ответ написан
Комментировать
Комментировать
mrkaban
@mrkaban
СЗИ от НСД / СКЗИ / ViPNet / Python / Django / SEO
В яндекс вебмастере есть инструмент проверки роботс, с его помощью проверь запрещаются ли конкретные урлы через роботс
Ответ написан
Комментировать
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы
Вакансии с Хабр Карьеры
Java разработчик AI-проектов в Яндекс 360
Яндекс • Москва
от 250 000 до 450 000 ₽
Разработчик в буткемп Core Infrastructure
Яндекс • Москва
от 300 000 до 490 000 ₽
Разработчик бэкенда в команду коммуникационной платформы
Яндекс • Москва
от 300 000 до 490 000 ₽
Ещё вакансии