Про robots.txt можно почитать на сайте Дмитрия Денисова %)))
dmitriydenisov.com/wordpress/wp-theme/indexing-wor...
Статья на первой же странице. Судя по приведенному коду, предполагаю, что вы (или кто-то) оттуда и брали код для robots, просто забыли удалить ссылки оттуда.
Вышеприведенный пример является универсальным для использования на большинстве проектов, работающих под управлением Wordrpess. Он закрывает от индексации системные папки WordPress, требеки, страницы фидов, тегов, поиска, архивные страницы авторов, постраничную навигацию, а также страницы, содержащие в себе параметры GET. Если необходимо добавить/удалить какую-то директорию или страницу, сделать это можно аналогичным образом, используя пример выше.
Собственно, из приведенного кода поисковые роботы видят следующее:
Карта сайта находится тут (
dmitriydenisov.com/sitemap.xml ) и идут искать карту на сайт Денисова. А про ваш могут немного забыть %)))