Почему не распознается robots.txt гуглом?

Question

[DeSharky]

В общем решил заняться оптимизацией сайта, зашел в google инструменты для вебмастеров, показал ошибки в robots.txt. Сайт на WordPress, файл генерится "на лету". При наведении на красную точку показывает "/ufeff". Я так понимаю google хочет, чтобы robots.txt был в кодировке utf-8 w/o BOM. Сайт на выделенном сервере под CentOS. Создать файл robots.txt "ручками" это крайняя мера, хочется, чтобы все работало "штатно". У кого какие идеи?

Answer 1

[Вячеслав Барсуков]

Ну так ты исправь скрипт генератор.

Answer 2

[Chvalov]

А по кнопке "Подробнее" что пишет ?

Answer 3

[Яков]

А что там перед User-agent, не вижу...?

Comments

[DeSharky]

Красная точка. При наведении на нее пишет "/ufeff". Проблема в кодировке. Но черт возьми, как и где ее менять, если robots.txt создается "на лету". В файле, который генерит прописана кодировка UTF-8

[Яков]

Посмотрите код ответа сервера на этот файл. Соответствует ли charset кодировке самого документа, какой код ответа сервера, ласт модифайд?