Почему яндекс индексирует запрещенные страницы?

Question

[Torvolf]

На сайте установлено правило в роботс.тхт
Disallow: /portfolio/?
Disallow: /proekt?

Но яндекс все равно индексирует такие страницы как
https://site.ru/portfolio/stellazh-foto-12/
https://site.ru/portfolio/peregorodka-foto-40/

Почему? Что-то неверно указано в правилах?

Comments

[Lynn «Кофеман»]

А зачем там вопросительные знаки?

Answer 1

[Виктор Петров]

Выше уже сказали, что директивы оформлены с ошибками.
Отмечу нюанс: robots.txt управляет сканированием, не индексацией. Это совершенно разные вещи.

Answer 2

[Алексей]

В яндекс вебмастере есть инструмент проверки роботс, с его помощью проверь запрещаются ли конкретные урлы через роботс