Как организовать обмен файлами в распределенном приложении?
Доброго здравия уважаемому сообществу.
Существует голова приложения куда пользователи загружают файлы, и существует N-воркеров для обработки. Файлы могут быть любых типов. Вопрос: как организовать обмен файлами, между головой и воркерами (двухсторонний)? Существуют какие-либо (относительно) готовые решения?
Голова приложения django+celery
Воркеры celery. Обмен сообщениями RabbitMQ.
Файлы в среднем до 100Мб, но вариант на несколько гигов 1 файл (в любую сторону) реален. Для простоты - файл бинарные.
