Как получить один файл из ZIP архива на s3 (boto3 + python)?

Question

[Vadim Apenko]

На Amazon S3 хранится zip. Большой. Скачать его весь нет возможности. Нужно из него получить один маленький файл xml в память (да, его можно и не качать, нужно только содержимое). Как это можно сделать средствами python + boto3 + zipfile + io + может ещё что-то.
Нужно открыть соединение к этому файлу через Бото в потоке или скачать его кусками. и прогнать через zipfile, получить где именно хранится нужный мне файл, и скачать и раззипить нужный кусок.

conn = S3Connection(a,b)
bucket = conn.get_bucket(bucket)
key = bucket.get_key(key_path)
byte_block = key.get_contents_as_string(headers={'Range': 'bytes=22000-23000'})

Так можно выудить кусок файла... это я уже понял.... Но может это не правильное решение?

Comments

[d'Ivan]

А название файла известно заранее? Или требуется сначала открыть архив и тогда выбрать файл для распаковки?

Answer 1

[d'Ivan]

Был похожий вопрос:
Можно ли извлечь файл из архива zip по SMB?
Я думаю, суть ясна.

А извлечь один-единственный файл можно при помощи Info-zip unzip таким образом при помощи ключа -p:

unzip -p /mnt/s3/mybucket/myfile.zip SOMEFILE > SOMEFILE_content

То есть всё это нехитрое дело можно завернуть в Bash и там перенаправлять вывод куда нужно.

Comments

[Dimonchik]

в той сути денжка не указана, что имеет место быть у него с Амазоном

[d'Ivan]

dimonchik2013, не понял

Answer 2

[Иван Шумов]

Не скачивая файл нельзя это сделать по тому как s3 это не файловое, а объектное хранилице. То есть не block storage.

Для вашего решения вы можете поднять EC2 инстанс в том же регионе, скачать zip-архив на него, там распаковать и загрузить обратно нужную часть на s3 чтобы скачать.

Comments

[d'Ivan]

Можно . В GET object можно в заголовках указать range.

[Иван Шумов]

Роман Мирр, пруф из документации, пожалуйста

[d'Ivan]

Иван Шумов, пожалуйста:
Request Headers

[Иван Шумов]

Роман Мирр, range это определенный набор байт объекта. Теперь вспомним - объект был архивирован в zip на стороне клиента и залит в s3. Таким образом файл под компрессией и мы не можем без распаковки объекта получить исходные данные. s3 не предоставляет вычислительных мощностей.

[d'Ivan]

Иван Шумов, (также и для Vadim Apenko )

1. Итак, получить файл частично с s3 мы уже можем. Замечательно.
   
2. осталось скачать заданные порции zip файла: каталог в конце файла архива (сначала EOCD, а затем и CD, имея его смещение в байтах). Прочли имена файлов с каталога.
   
3. далее, пользователь должен выбрать имя файла, который нужно извлечь.
   
4. в каталоге находим по какому смещению от начала архива начинается LH.
   
5. запрашиваем у S3 нужный диапазон объекта. Скачиваем. Радуемся.
   

[Иван Шумов]

Роман Мирр, ок, тут моя матчасть слабовата, допустим. А что делать со степенью сжатия и что если в архиве есть пароль?

[d'Ivan]

Иван Шумов, со сжатием это обычное дело. В заголовке LH конкретного файла указан способ сжатия (обычно Deflate).
Насчёт пароля нужно шерстить спеки zip. Я это не разбирал еще. Но там вроде при версии pkzip 2.0 ничего страшного для извлечения.
Да и, вообще, пожалуй, даже если и зашифровано при помощи AES. Главное, что с S3 можно ходить по файлу в любую сторону, прямо как на локальной ФС. А этого должно быть достаточно.

[Иван Шумов]

Роман Мирр, любопытный вариант, действительно. s3 дает возможность ходить по файлу по тому что по факту он отдает объект потоком - обычная фича для хранилища. А вот за подробности структуры zip-архивов спасибо, заполнили белое пятно в моем образовании. Итого, получается возможно. Встает только один вопрос - а надо ли так изголяться? Даже если там многогигабайтный файл - его всегда можно распаковать прямо в экосистеме AWS и больше не мучаться с архивацией. А сам архив скинуть в Glacier, если очень надо

[d'Ivan]

Иван Шумов, изгаляться ни в коем случае не нужно. Но если очень хочется

его всегда можно распаковать прямо в экосистеме AWS и больше не мучаться с архивацией

то можно. Обновил свой ответ на вопрос автора.

[Vadim Apenko]

Иван Шумов,

что если в архиве есть пароль?

нет пароля там никогда. Архивы все одного вида....