robots.txt относится только к одному хосту, т.е. сайту. Поддомены — это разные сайты для поисковиков (хоть и принадлежащие к одному домену). Вам нужно в каждом поддомене в robots.txt прописать следующее:
User-agent: Googlebot
Disallow: /
Таким образом вы дадите понять поисковому краулеру Гугла, что этот сайт не нужно индексировать.
