Наверно проще собрать позиции конкурентов в том же семраше за не дорого
А так парсить выдачу никто вроде бесплатно не делает, либо делает в разовых запросах и дешевле купить
Ну а как вы загоняете их в индекс?
Проверили вручную в вебмастере что страницы видит робот и они не закрыты от индексации?
В аналитиксе видите что по этим страница ходят пользователи?
А зачем вы городите в целом такую дичь в роботсе?
В Яндекс вебмастеру есть инструмент для проверки доступности урла с разными роботс, видимо это для вас самое то
