Есть ли утилита для просмотра списка файлов в ZIP на S3 бакете?

Question

[Ромзес Панагиотис]

Нужна какая-то утилита, при помощью которой можно было бы просматривать каталог файлов внутри файла ZIP, находящегося на S3 бакете, не скачивая локально.

Answer 1

[Евгений]

пример:
https://stackoverflow.com/questions/41789176/how-t...
Если кратко алгоритм:
1. выясняем размер размер zip файла
2. читаем несколько байт из zip файла по известному адресу для того чтобы выяснить расположение и размер листинга файлов в zip файле
3. читаем несколько байт из zip файла с листингом файлов
4. создаем свой пустой zip файл вставляя туда полученные байты по нужным адресам.
функциями работы с zip выдаем список файлов

P.S. скрипт писал не я, но пару лет назад тоже решал подобную задачу.
"Спасение" тут - это чтение части файла, которое позволяет S3 и знание формата zip
В комментариях к ответу на SO написано про ограничения в размере zip в 4Гб - я не сталкивался и задачу по обходу проблемы не решал.

Comments

[Ромзес Панагиотис]

Хм. Интересный вариант. Только похоже больше на POC. Не думаю, что стану дорабатывать такой код или писать с нуля...

[Saboteur]

Там вроде не POC а вполне рабочее решение - скачиваешь последние 22 байта, определяешь где в ZIP находится "каталог", скачиваешь каталог и парсишь его как зип файл. Как раз получаешь полный листинг с минимальным чтением.

[Ромзес Панагиотис]

Saboteur, пожалуй, соглашусь. При текущей постановке вопроса данное решение является ответом.

Хотя мне больше симпатизирует утилита s3fs, поскольку предоставляет простор для работы с разными файлами, а не только ZIP. У меня займет время проверить, скачивает ли s3fs файлы частями. И логика подсказывает, то должно быть именно так.

А уважаемый Иван Шумов оказался неправ, поскольку можно считать ZIP частями.

[Dimonchik]

Ромзес Панагиотис, ну, он оказался прав по своему )) логично, что для возврата объекта к жизни где-то должна храниться его структура, вот в решении эта хитрость и описана, а по дефолту API s3 такого не подразумевает

[Everything_is_not_so_bad]

dimonchik2013,

логично, что для возврата объекта к жизни где-то должна храниться его структура

О возврате к жизни (если в смысле извлечения файлов из архива) автор вопроса вроде бы ничего не писал. А для просмотра списка его достаточно хранить в памяти.

Answer 2

[Иван Шумов]

Технически не реализуемо

Comments

[Ромзес Панагиотис]

Это надо проверить. Если у s3fs числится такое заявление:

allows random writes and appends

[Иван Шумов]

Ромзес Панагиотис, ключевое слово random

[Ромзес Панагиотис]

У RAM тоже random, но подконтрольно программе. А у S3 это как-то по-другому?
По идее, именно random доступ и нужен для получения произвольных частей ZIP, не так ли (по аналогии с чтением с диска)?

[Иван Шумов]

Ромзес Панагиотис, вся проблема в том что s3 это http протокол. Отсюда все ограничения. Он не имеет byte-order операций

[Иван Шумов]

Ромзес Панагиотис, надо вообще понимать что файловых операций в s3 не существует. В s3 есть только crud операции над http ресурсами. Самое близкое описание этих ресурсов - объект. Именно поэтому s3 это object storage, а не file storage

[Ромзес Панагиотис]

Иван Шумов,

вся проблема в том что s3 это http протокол. Отсюда все ограничения. Он не имеет byte-order операций

byte-order - это термин про другое, endianness. А что касается byte range, то документация повествует о возможности скачивать произвольные куски файлов:
https://docs.aws.amazon.com/whitepapers/latest/s3-...

Using the Range HTTP header in a GET Object request, you can fetch a byte-range from an object, transferring only the specified portion. You can use concurrent connections to Amazon S3 to fetch different byte ranges from within the same object.

[Иван Шумов]

Ромзес Панагиотис, о, что-то свежее. Я почитаю, спасибо

Answer 3

[rPman]

для ubuntu можно подключить s3 в качестве обычного каталога с помощью fuse утилиты s3fs и уже там любым архиватором работай с архивом

Comments

[Иван Шумов]

будет произведено полное скачивание файла локально)

[Ромзес Панагиотис]

Спасибо. А если s3fs подключается удаленно к S3, то скачивается файл целиком или только часть, необходимая для просмотра ZIP?

[rPman]

впервые про это слышу, но так как пользовался этим ограниченно, не знал что там так плохо реализовано

[Ромзес Панагиотис]

Иван Шумов,

будет произведено полное скачивание файла локально)

А это достоверно известно? Откуда информация?

[Иван Шумов]

Ромзес Панагиотис, я протокол s3 знаю) там есть чанки конечно, но только информация о файле размазана по нему)

[Ромзес Панагиотис]

Иван Шумов, так это ограничение из-за ZIP, S3 или S3FS? Или вместе? :-)

[Иван Шумов]

Ромзес Панагиотис, всего вместе по сути) мы же говорим о конкретном решении конкретного вопроса. Сам по себе s3 позволяет в чанки но это бесполезно если с файлом не получится работать до окончательной загрузки. Zip архив это все-же один файл, а внутренняя структура там закодирована

[Ромзес Панагиотис]

Иван Шумов,

Сам по себе s3 позволяет в чанки но это бесполезно если с файлом не получится работать до окончательной загрузки. Zip архив это все-же один файл, а внутренняя структура там закодирована

Да, но ZIP != TAR. У первого есть каталог в хвосте файла и его можно считать в память, не беря всего остального.

[rPman]

Иван Шумов, получается вы ввели в заблуждение?
какой минимальный размер чанков?

[Иван Шумов]

rPman, размер чанков я не помню, но точно знаю что стандартным софтом получить последний чанк невозможно (из s3). Более того, в каком чанке начинается мета информация тоже нельзя определить без последовательной загрузки чанков. В любом случае придется последовательно скачивать чанки, внутри них искать разделители и метки. Идентификатор следующего чанка передается в заголовке кажется. Так что я просто не начинал развернутый ответ делать. Я сегодня ленив, но вы начали фигней страдать, приходится разъяснять

[rPman]

Иван Шумов, спасибо за подробности,

тогда как работает amazon bittorrent?

[shurshur]

rPman, он работает по протоколу bittorrent, не s3.

[rPman]

shurshur, т.е. технически в s3 существует протокол по работе с большими файлами по частям, проблема только в клиенте

[Иван Шумов]

rPman, надо уточнить что BitTorrent не управляет порядком загрузки по сути. То есть определить что ты закачиваешь нужный тебе чанк практически невозможно. И тебе все-равно нужен весь файл чтобы начать в нем ковыряться

[rPman]

Иван Шумов, вообще то торрент клиент контролирует что именно и в каком порядке нужно загрузить, благодаря этому возможна загрузка одного файла из списка (напомню что в торренте файлы соединены в единый файл, поэтому загружая один файлик можно зацепить начало и конец соседних) а так же возможна загрузка файла не случайно а последовательно, что используется для просмотра видео из торент файла во время загрузки с самого начала (для avi необходимо дополнительно прогружать еще и конец файла где лежит индекс, я пользуюсь этим используя клиент tixati)

это не про s3 а именно возможности торент протокола

[Ромзес Панагиотис]

rPman, В комментариях выше выяснилось, что скачивать по S3 можно и частями, причем в произвольном порядке.

Answer 4

[Everything_is_not_so_bad]

Есть некая тулзовина, remotezip. Подходит для получения списка и частичного извлечения файлов по HTTP. Насчет утилиты для S3 не знаю, вроде можно доработать, если нужно для приватного доступа к bucket.

Comments

[Ромзес Панагиотис]

Спасибо, посмотрю позже.