Дмитрий Кузнецов, любым доступным!
Например в Nginx можно сделать location = /robots.txt{}, а внутри if() с доменным именем и разным return "...". Или можно все запросы направлять в скрипт типа robots.php, который и будет выдавать разное содержимое в зависимости от домена.