romesses
@romesses
Backend инженер

Есть ли утилита для просмотра списка файлов в ZIP на S3 бакете?

Нужна какая-то утилита, при помощью которой можно было бы просматривать каталог файлов внутри файла ZIP, находящегося на S3 бакете, не скачивая локально.
  • Вопрос задан
  • 250 просмотров
Решения вопроса 1
@yellowmew
Cloud infrastructure, monitoring engineer. SRE
пример:
https://stackoverflow.com/questions/41789176/how-t...
Если кратко алгоритм:
1. выясняем размер размер zip файла
2. читаем несколько байт из zip файла по известному адресу для того чтобы выяснить расположение и размер листинга файлов в zip файле
3. читаем несколько байт из zip файла с листингом файлов
4. создаем свой пустой zip файл вставляя туда полученные байты по нужным адресам.
функциями работы с zip выдаем список файлов

P.S. скрипт писал не я, но пару лет назад тоже решал подобную задачу.
"Спасение" тут - это чтение части файла, которое позволяет S3 и знание формата zip
В комментариях к ответу на SO написано про ограничения в размере zip в 4Гб - я не сталкивался и задачу по обходу проблемы не решал.
Ответ написан
Пригласить эксперта
Ответы на вопрос 3
inoise
@inoise Куратор тега Amazon Web Services
Solution Architect, AWS Certified, Serverless
Технически не реализуемо
Ответ написан
@rPman
для ubuntu можно подключить s3 в качестве обычного каталога с помощью fuse утилиты s3fs и уже там любым архиватором работай с архивом
Ответ написан
2ord
@2ord
продвинутый чайник
Есть некая тулзовина, remotezip. Подходит для получения списка и частичного извлечения файлов по HTTP. Насчет утилиты для S3 не знаю, вроде можно доработать, если нужно для приватного доступа к bucket.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы