devAston
@devAston
Web developer

Как в рамках AWS lambda создать zip архив из папки на S3 на python?

На bucket лежит папка с файлами (условно input). В ней хранятся некие файлы общим размеров свыше 500 Мб.
Как в рамках ограничения AWS lambda создать архив рядом с папкой на bucket?

P.s. слышал про потоковую запись, но пока не могу разобраться...
  • Вопрос задан
  • 56 просмотров
Пригласить эксперта
Ответы на вопрос 3
@mayton2019
Ent. Software engineer. Oracle. SQL. BigData.
Упирается в возможности Питона и AWS-Lambda. Насколько я помню там есть ограничения на память для лямбды и лимит на время для 1 сеанса хендлера. Но я думаю что можно решить эту задачу. Библиотеки сжатия должны быть потоковые. Тоесть без накопления результата в памяти. И степень сжатия надо поставить на store чтоб было максимально быстро.

Вобщем в рамках этого форума почти невозможно обсудить т.к. нужны сорцы и хотя-бы штук 10 экспериментов. Пробуйте. Я думаю что это решаемо.
Ответ написан
k4m454k
@k4m454k
Sysadmin, QA, DroneGuru
Вы можете создать объект в оперативной памяти лябмды ( там до трёх гигабайт доступно) и его же зиповать. Прям в памяти. И оттуда же положить на s3 уже зипом. Я когда-то делал подобное.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
ClearScale Москва
от 200 000 ₽
Uploadcare Санкт-Петербург
от 3 300 $
Acme Crypto Corp Нижний Новгород
от 80 000 до 120 000 ₽