Traney

Закрывать страницы от индекса лучше с помощью
<meta name="robots" content="noindex, nofollow"/>
robots может тупить.

Во-вторых. Ты уверен, что у тебя нужные страницы вылетели из индекса? Если нет, то смотри тот же вебмастер и чекай. Если вылетели только дубли, а нужные остались, значит твои дубли были релевантнее правильных. Нужно смотреть и изучать почему.
Если из индекса вылетели нужные, значит косяк в роботсе.

В таких случаях лучше начать с анализа страниц входа из поиска, например, через «Яндекс.Метрику». И только убедившись, что дубли не считаются поисковиками более релевантными, исключать их. Возможно, вы исключили какие-то трафиковые страницы.

Если у вас появляются такие ошибки, значит у вас с каких-либо открытых для поиска страниц есть ссылки на закрытые разделы сайта. Определите эти страницы/ссылки и исправьте.

Если вы нажмете на конкретный URL в таблице - откроется окно, где есть вкладка "Ссылающиеся домены" - там вы можете найти страницы, на которых присутствует ссылка на такой раздел.

https://en.wikipedia.org/wiki/Comparison_of_issue-...

Redmine

OpenCart- CMS c MVC структурой большое сообщество много бесплатных модулей и тем.