Как сделать загрузку файла без сохранения его в node.js?

Question

[akdes]

Привет всем.

Делаю загрузчик файлов на бэкенде.
Есть необходимость загружать любые медийные файлы типа картинок и видео а может и архив... Размер макс 1 ГБ на файл. Файлы буду загружатся на S3. Необходимо решать это на бэкенде, из-за кредов s3 и при загрузке будет запись в базу.

Т.к. переживаю за память(количество) сервиса, как рабочую так и файловую, хотелось бы принимать при загрузке только куски, которые тутже загружаются дальше на S3 и после удаляются из памяти. при этом поток сервиса не должен блокироваться всякими fs.readFile

Для S3 реализация есть

в примерах указанно как работать с файлом у которого есть физическим путь - в связи с отсутствием опыта не пойму/не найду как мне это запустить с загрузкой файла обычным post-запросом.

Спасибо заранее

Answer 1

[akdes]

Ключевые моменты, которые исключают загрузку на S3 напрямую с фронтенда:
Сервис будет базовый и использоватся в нескольких проектах. При переезде с S3 или изменении логики прийдётся менять все проекты по отдельности.

Решение на данный момент:
На фронтенде файл будет резаться на куски по 5 МБ и загружатся асинхронно через multipartUpload, на бэкенд.
Т.е. при начале загрузки будет передаваться идентификатор загрузки и при посл. кусках он будет оставаться.
По окончанию будет вызов на бэкенд, который будет собирать куски в один с помощью S3.
Тем самым можно горизонтально увеличивать ресурсы, без боязни проблем с загрузкой.

Answer 2

[Иван Шумов]

На S3 можно загружать напрямую в обход в принципе вашего сервера. Вы генерируете разовый policy и через него идет загрузка.

Comments

[akdes]

спасибо за ответ. Видел эту возможность, однако она вызывает необходимость менять frontend, что в данном случае хочу избежать.
отклонил правку, так как вопрос именно по ноде, а мне уже предупреждения за тэг-спам кидали

[Иван Шумов]

akdes, раз по ноде то тег Javascript тут не при чем)
Зря не хотите менять фронтенд - у вас будут дополнительная точка отказа + у вас будут проблемы со скоростью загрузки. У S3 есть transfer acceleration и он отлично работает с multipart

[akdes]

Иван Шумов, как это не при чём? ты в ноде на PHP пишешь? :)) Может есть именно языковые инструменты, позволяющие добиться желаемого..
По поводу фронтенд - на это есть ряд причин.