А зачем вы городите в целом такую дичь в роботсе?
В Яндекс вебмастеру есть инструмент для проверки доступности урла с разными роботс, видимо это для вас самое то
это сугубо зависит от вашего сео плана
как вы скажете так и будет
ну или как скажет ваш сеошник
если у вас плана нет то вообще без разницы как это реализовывать