Максим Сергеев

Если вы имеете ввиду под

все-различных вариаций домена

- поддомены. То нужно в корне каждого поддомена в robots.txt написать :
User-agent: *
Disallow: /

А также как при этом сделать игнорирование некоторых директорий также и на этом домене?

Для запрета индекса определенных папок используйте:
Disallow: /fork/

Для указания основного хоста
Host: www.myhost.ru