Почему в production недоступен robots.txt?

Question

[Антон]

При запуске в development, файл доступен по адресу site.ru/robots.txt

Как только запускаю в production, то ловлю ошибку 404. В чем проблема?

Answer 1

[Запорожченко Олег]

потому что в девелопмент режиме сервер рельсы также отдает и статику из папки public, потому что это практично

Руби слишком медленный, чтобы делать это в продакшене, там этим должен заниматься ваш основной веб сервер - nginx или на крайняк apache

В config/environments/production.rb
rails < 4 - config.serve_static_assets = true
rails = 5 - config.serve_static_files = true

Comments

[Антон]

Какие минусы при использовании config.serve_static_files = true могут возникнуть?

[Антон]

Как же тогда отдавать robots.txt файл? Карту сайта? Фавикон в конце концов...

[Антон]

Притом на текущий момент у меня доступен файл sitemap.xml.gz из каталога public как в девелопе, так и в продакшене.

Проблема только с robots.txt. Сейчас я вообще не могу его открыть. Он есть на сервере. Приложение запущено в девелопе, по адресу ничего не выдает.

[Запорожченко Олег]

я же не знаю, как у вас сервер настроен? Какой у Вас руби сервер (passenger, unicorn, puma)? Есть ли nginx или apache?

[Антон]

Запорожченко Олег: puma, связка apache и nginx.

[Антон]

Запорожченко Олег: да бред в том, что карта сайта отдается, всякие файлы для подтверждения (яндекса и гугла) отдаются. А файл robots.txt - нет. В конфигах сервера ничего насчет robots.txt нет. При переходе по site.ru/robots.txt тупо ничего не происходит. curl возвращает ничего.

[Запорожченко Олег]

"связка apache и nginx" - Такого не может быть, либо то, либо то.

ПОсмотрите, что у Вас принимает HTTP запросы и смотрите логи этого сервера. Меняйте конфиг, пока он не отдаст robots.txt

[Антон]

Запорожченко Олег: а что тогда это такое goo.gl/6Fz6n7 ?

Ладно. Допустим nginx. Там нет ничего такого в кнфигах. Я их не трогал. Яндекс и гугл брали этот файл, когда проект работал в девелопе. Только вот сейчас я этот файл никак не могу получить. Я пробую через ssh curl - ничего, пустота.

[Запорожченко Олег]

Apache кроме того что web сервер еще и PHP сервер, поэтому такая связка есть, но так никто не делает.

Рельса по умолчанию не будет открывать файлы из папки public, для этого всегда настраивается nginx

если в его настройках нет соответсвующих конфигов, он эти файлы также отдавать не будет.

Но, это всего лишь догадка, может быть и другая причина. Проверить очень просто - посмотреть лог nginx