Как конвертировать видео на одном сервере, а раздавать контент с другого, используя Ruby on Rails?

Question

[rusrich]

Добрый день.

Подскажите, как реализовать данную задачу.

Есть приложение, которое конвертирует видео, создает структуру БД и через плеер позволяет посмотреть данное видео.

Теперь нужно отделить конвертацию на отдельный сервер, чтобы при отдаче нагрузка на процессор была невысокой, ну и дискам было полегче.

Примерное видение такое:
Одно и тоже приложение устанавливаем на двух серверах: сервер1 (для конвертации) и сервер2 (раздача контента). Сервер3 используем для БД.

На сервере1 производим конвертацию и складываем файлы по FTP на другой сервер или через NFS

Для сервера2 в БД корректируем линки на файлы таким образом, чтобы к ним обращение было напрямую из сервера2

Подскажите, плиз у кого опыт есть.

Сейчас работает текущий проект на php и там конвертация и раздача контента производится с одного сервера и в пики нагрузки при одновременной конвертации уровень Load Average CPU подпрыгивает до 140. Админы рекомендуют держать этот уровень в пределах 90.

Поэтому хотели разделить.

Answer 1

[d'Ivan]

Мне кажется, что лучше организовать загрузку файлов, требующих пост-обработки, прямиком на выделенный сервер. Сервер1 можно использовать в целях экономии одновременно для приложения RoR и отдачи контента через кеширующий прокси, хотя правильно таки выделять сервер только под раздачу контента, то есть CDN. Для пост-обработки можно использовать микросервис на Ruby или другом языке на сервере2. По окончании пост-обработки оповещать об окончании задачи и загружать обработанные файлы на сервер для отдачи контента.

Сервисы: Amazon CloudFront, Cloudflare Stream, Akamai CDN
Самостоятельно: ATS - https://habr.com/post/113728/ , Varnish, Nginx и др.

Comments

[d'Ivan]

rusrich как получилось в итоге?

[rusrich]

Роман Мирр, в общем на два сервера ставим одно и то же приложение и привязываем разные домены.
Сервер БД можно вынести как на отдельный сервер, так и на виртуалку, где будет происходить непосредственно раздача контента.
Для обоих приложений прописываем данные этого сервера БД. Главное, чтобы оба приложения работали с одной БД.
К серверу1 для конвертации привязываем папку (симлинк) storage от сервера2 для раздачи контента.
Видео грузим на сервер1, он его здесь обрабатывает и кладет на сервер два.
В методах или вьюхах указываем правильные директории откуда брать сконвертированный контент и получаем для раздачи контента полностью свободный от второстепенных задач сервер.

Логику приложения нужно заранее адаптировать под такое решение.
Не знаю, на сколько решение правильное, но работает и я доволен.