Из-за чего может быть ошибка 404 по адресу sitename.ru/robots.txt?

Question

[xpyct13]

Всем привет!
У меня такая проблема. На сайте установлена CMS Wordpress. Файл robots.txt лежит в корне сайта, но при переходе по прямой ссылке выдается ошибка 404. На сайте стояли плагины по безопасности, есть подозрение, что где то прописался запрет на прямой доступ к файлу или файлам такого типа. В .htaccess ничего не прописано. Подскажите пожалуйста, в чем может быть причина, где посмотреть?
Листинг файла .htaccess
# BEGIN WordPress

RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]

# END WordPress

Answer 1

[romy4]

Причина может быть станет понятна после приведения сюда кода .htaccess и когда virtualserver

Comments

[xpyct13]

Код virtualserver - где это можно посмотреть?

[romy4]

xpyct13: то, что можно посмотреть, то и приводите

[xpyct13]

код .htaccess я привел, а где брать второй? я просто не очень хорошо в этом разбираюсь

[romy4]

xpyct13: тут норм. а ещё есть nginx который может закрывать txt файлы :)

[xpyct13]

А где можно это посмотреть и проверить?

[romy4]

xpyct13: в настройках хостинга. где конкретно — это только вам может быть виднее.

[xpyct13]

romy4: Понятно, спасибо! Буду искать.

Answer 2

[Павел Чесноков]

WordPress сам прекрасно генерирует виртуальный "robots.txt", до него можно добраться, и в ручную через functions.php, и через плагины. Чаще всего доступ к нему закрывают SEO плагины и страницы с похожим названием (например www.site_name.com/robots).

Comments

[xpyct13]

А то что яндекс через свою проверку написал "не удалось загрузить robots.txt", это он именно про файл? То есть виртуальный robots все равно может регулировать, что индексировать, а что нет?

[Павел Чесноков]

Имею ввиду, что по адресу www.site_name.com/robots.txt файла может не быть, WordPress сам генерирует "виртуальный" файл.