Как в Ruby поблочно загружать большой файл на S3, предварительно закодировав его в Base64?

Question

[d'Ivan]

Необходимо загрузить большой медиа-файл (больше доступной RAM) на хранилище S3, предварительно закодировав его в Base64.

Помогите оптимизировать код на Ruby так, чтобы чтение файла, кодирование в Base64 и последующая загрузка на S3 были выполнены поблочно.

blob = StringIO.new( Base64.encode64( IO.binread('big_file.mp4')), 'rb' )
      ...
      @client.put_object(
        bucket: @s3_bucket.name,
        key: target_name,
        body: blob,
        acl: 'public-read'
      )

В документации Base64.encode64 нет возможности обрабатывать файловый поток поблочно. Есть какие-то трюки?

Answer 1

[Дмиртрий]

Официальный клиент S3 для Ruby умеет заливать файлы чанками (по крайне мере так говорит документация).

docs.aws.amazon.com/AWSRubySDK/latest/AWS/S3/S3Obj... (секция Uploading Files)

Comments

[d'Ivan]

Да, это я знаю. Речь шла о поблочном кодировании в Base64.encode64.

[Дмиртрий]

Тогда нужно создать класс, который на входе будет получать путь к файлу и реализовать интерфейс IO, а внутри себя этот класс будет кодировать чанки в base64.

ruby-doc.org/core-2.4.1/IO.html#method-i-read

[d'Ivan]

Дмиртрий: покажи простой пример