Как создать /robots.txt для Rails приложения?

Question

[Антон]

Rails 5.0.0.
Файл robots.txt находится в каталоге public приложения.
Также рядом с ним находятся такие файлы, как: sitemap.xml.gz и файлы подтверждения прав (гугла и яндекса). Все эти файлы доступны по site.ru/файл.формат как в development, так и в production.

Но проблема почему-то возникает исключительно с файлом robots.txt. Он был доступен по адресу только в development. Теперь он вообще не доступен. Я перезагружал его на сервер - не помогло.

Команда
curl http://site.ru/robots.txt
возвращает пустоту.

В чем дело?

UPD
Сейчас имею это следующее.
В development режиме:

curl http://site.ru/robots.txt
User-agent: *
Disallow:
Disallow: /user
Disallow: /admin

Sitemap:

В production режиме тоже, что и выше. Но это все кэш. Яндекс не может получить доступ к файлу, когда он в production режиме. В чем дело?

Comments

[d'Ivan]

А какой HTTP status возвращает curl -i http://site.ru/robots.txt ?

[d'Ivan]

Посмотри в логе приложения что выдаёт сервер при запросе robots.txt

[Антон]

Роман Мирр: 204, а нужен 200, если я не ошибаюсь? Как этого добиться?

[d'Ivan]

Антон: покажи полный вывод команды curl

[Антон]

Роман Мирр:

HTTP/1.1 204 No Content
Date: Fri, 09 Sep 2016 21:28:40 GMT
Connection: keep-alive
Set-Cookie: __cfduid=d941031032d7bc37cab48c4f45f9741fc1473456520; expires=Sat, 09-Sep-17 21:28:40 GMT; path=/; domain=.site.ru; HttpOnly
X-Frame-Options: SAMEORIGIN
X-XSS-Protection: 1; mode=block
X-Content-Type-Options: nosniff
Cache-Control: public, max-age=21600
X-Request-Id: 144b4f95-547e-459c-8453-11bbe82c7188
X-Runtime: 1.480297
CF-Cache-Status: HIT
Expires: Sat, 10 Sep 2016 03:28:40 GMT
Server: cloudflare-nginx
CF-RAY: 2dfdbb3304d006dc-LHR

Answer 1

[Карим Кьятлоттьяви]

Возможно кто-то перехватывает запрос на robots.txt. Перепроверьте routes.rb, запустите rake routes, отключите все посторонние гемы, если у вас используется Nginx проверьте, что там тоже нет никаких обработчиков. Следует быть внимательнее, так как необязательно перехват идёт по robots.txt, может быть и какой-нибудь нечитаемый wildcard.

Answer 2

[Falsealarm]

Если вы используете nginx, в файле конфига должен быть указан файл robots.txt, так как раздачей файлов управляет веб сервер.

server {
        .....
        location ~ ^/(assets|fonts|system)/|favicon.ico|robots.txt {
          gzip_static on;
          expires max;
          add_header Cache-Control public;
        }
        .....
}