Будут ли проблемы с доступностью приложения при динамической отдаче больших файлов?

Question

[Виталий Игоревич]

Нужно раздавать большое количество файлов не по прямой ссылке, то есть через контроллер приложения. До и после окончания скачивания, нужно логировать определенную информацию. Может ли возникнуть такая ситуация, когда например в один момент времени идет скачивание n файлов и приложение становиться недоступно, потому что все воркеры заняты? Или я неправильно понимаю принцип работы?

Фреймворк: Ruby on Rails
Сервер: Nginx

Comments

[Lynn «Кофеман»]

Непонятно кто отдаёт файлы, nginx или руби?

Answer 1

[Viktor Vsk]

Правильно понимаете, воркеры будут занят, пока не отдадут контент.
Для таких вещей созданы сервисы типа Amazon S3, Viddler, Google drive, Dropbox и т.д.
Коротко: вы, используя данные своего аккаунта (Api key, access token), генерируете токен для доступа (определенный одноразовый url) для загрузки/отдачи приватного контента

Конечно, это актуально, если контент приватный.
Если у вас в public (для раздачи nginx) лежат файлы и вас устраивает, что скачать их может каждый, а залоггировать - только если скачано с веб-интерфейса и джаваскриптом (очень нестабильное решение) отправлен коллбэк, мол, "скачано" - то проблем с воркерами не будет.

Comments

[Виталий Игоревич]

спасибо за ваш ответ. надо чтобы файлы лежали на своем сервере. если я с помощью nginx закрою доступ к каталогу где лежат файлы, это решит проблему приватности?

[Viktor Vsk]

Виталий Игоревич: нет, в том ключе, что вы задали вопрос - не решит. Это просто закроет файлы. Что бы пользователь их получил, придется раздавать их через приложение (следовательно, проблема с воркерами)

Проблемы с воркерами не будет, если файлы будет раздавать nginx (точнее, проблема останется, но будет меньше), однако программировать на nginx не стоит.

Мой совет: не занимайтесь преждевременной оптимизацией. Запомните, что это действительно может стать проблемой, сделайте самое простое решение. А если столкнетесь с проблемами - переведете на какой-нибудь сервис, это не настолько сложно будет поменять.

[Виталий Игоревич]

и в таком случае, если переложить отдачу на nginx, проблема воркеров все равно остается. может знаете как решают эту проблему файлообменники? я как раз пишу файлообменник.

[Viktor Vsk]

Виталий Игоревич: ну вот дропбокс, чем не файлообменник? Взял и переложил эту работу на плечи Амазона.
Единственное нормальное решение - это минимизировать логику (оставить только загрузку файла, без логгирований и т.д.) и максимизировать количество воркеров. Естественно, это сверхзатратно для обычного приложения.

Answer 2

[Александр Мелеховец]

Загуглите nginx X-Accel-Redirect. С помощью этой штуки можно проверять доступ в приложении и потом непосредственно отдачу переложить на nginx. Про отслеживание окончания уже сказали.