Задать вопрос
@Torvolf
яндекс

Почему яндекс индексирует запрещенные страницы?

На сайте установлено правило в роботс.тхт
Disallow: /portfolio/?
Disallow: /proekt?

Но яндекс все равно индексирует такие страницы как
https://site.ru/portfolio/stellazh-foto-12/
https://site.ru/portfolio/peregorodka-foto-40/

Почему? Что-то неверно указано в правилах?
  • Вопрос задан
  • 370 просмотров
1 комментарий
Подписаться 1 Простой 1 комментарий
Пригласить эксперта
Ответы на вопрос 2
vpetrov
@vpetrov
частный SEO-специалист
Выше уже сказали, что директивы оформлены с ошибками.
Отмечу нюанс: robots.txt управляет сканированием, не индексацией. Это совершенно разные вещи.
Ответ написан
Комментировать
Комментировать
mrkaban
@mrkaban
СЗИ от НСД / СКЗИ / ViPNet / Python / Django / SEO
В яндекс вебмастере есть инструмент проверки роботс, с его помощью проверь запрещаются ли конкретные урлы через роботс
Ответ написан
Комментировать
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы
Вакансии с Хабр Карьеры
Интернет-маркетолог
Stream Telecom • Санкт-Петербург
от 90 000 до 120 000 ₽
SEO-specialist
Diamond Personnel R&C • Москва
До 110 000 ₽
Fullstack разработчик JavaScript, php
Дорстрой-36 • Воронеж
от 100 000 до 150 000 ₽
Ещё вакансии