Задать вопрос
@Torvolf
яндекс

Почему яндекс индексирует запрещенные страницы?

На сайте установлено правило в роботс.тхт
Disallow: /portfolio/?
Disallow: /proekt?

Но яндекс все равно индексирует такие страницы как
https://site.ru/portfolio/stellazh-foto-12/
https://site.ru/portfolio/peregorodka-foto-40/

Почему? Что-то неверно указано в правилах?
  • Вопрос задан
  • 372 просмотра
1 комментарий
Подписаться 1 Простой 1 комментарий
Пригласить эксперта
Ответы на вопрос 2
vpetrov
@vpetrov
частный SEO-специалист
Выше уже сказали, что директивы оформлены с ошибками.
Отмечу нюанс: robots.txt управляет сканированием, не индексацией. Это совершенно разные вещи.
Ответ написан
Комментировать
Комментировать
mrkaban
@mrkaban
СЗИ от НСД / СКЗИ / ViPNet / Python / Django / SEO
В яндекс вебмастере есть инструмент проверки роботс, с его помощью проверь запрещаются ли конкретные урлы через роботс
Ответ написан
Комментировать
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы
Вакансии с Хабр Карьеры
Performance-маркетолог
РТК-ЦОД • Москва
Golang-разработчик в Яндекс Еду
Яндекс • Москва
Key account manager(Digital Marketing)
Группа компаний FIX • Москва
Ещё вакансии