Wordpress формирует свой собственный виртуальный robots.txt. Его можно отключить хуками:
wordpress.stackexchange.com/questions/77969/how-to...
Но я этот фильтр не использовала, так что не знаю, как конкретно он работает.
Вот еще немного прекрасного на
wp-kama.ru 
