В итоге, пока решила проблему так: в зависимости от окружения поставила условие генерировать метатег
<meta name="robots" content="noindex, nofollow" />
При этом, в файле robots.txt не запрещается сканировать эти сайты, чтобы они узнали про метатег.
Когда(или если) тестовые сайты пропадут из результатов поиска ПС, в файле робота запрещу сканировать их. Если не поможет, придется воспользоваться советами выше.
