Ну а как вы загоняете их в индекс?
Проверили вручную в вебмастере что страницы видит робот и они не закрыты от индексации?
В аналитиксе видите что по этим страница ходят пользователи?
А зачем вы городите в целом такую дичь в роботсе?
В Яндекс вебмастеру есть инструмент для проверки доступности урла с разными роботс, видимо это для вас самое то
открой для себя яндеки и гугл вебмастер, а потом поставь метрику и аналитикс
ты делаешь глупые выводы и неправильных своих проверок
проверять выдачу чисто под сат надо всегда с опцией site
