Подозреваю, что вы неправильно решаете задачу.
Нужно не редиректить все файлы, кроме, а создавать динамические robots, sitemap.
А сами домены, между тем, прописать алиасами.
it74.net/techblog/dinamicheskie-robotos-txt-i-site...
Аналогично sitemap'у, решаете с rss.
Таким образом, вы получите различные robots и sitemap, при обращении к доменам.
В комментариях добавлю примеры.