Как в рамках AWS lambda создать zip архив из папки на S3 на python?
На bucket лежит папка с файлами (условно input). В ней хранятся некие файлы общим размеров свыше 500 Мб.
Как в рамках ограничения AWS lambda создать архив рядом с папкой на bucket?
P.s. слышал про потоковую запись, но пока не могу разобраться...
Упирается в возможности Питона и AWS-Lambda. Насколько я помню там есть ограничения на память для лямбды и лимит на время для 1 сеанса хендлера. Но я думаю что можно решить эту задачу. Библиотеки сжатия должны быть потоковые. Тоесть без накопления результата в памяти. И степень сжатия надо поставить на store чтоб было максимально быстро.
Вобщем в рамках этого форума почти невозможно обсудить т.к. нужны сорцы и хотя-бы штук 10 экспериментов. Пробуйте. Я думаю что это решаемо.
Вы можете создать объект в оперативной памяти лябмды ( там до трёх гигабайт доступно) и его же зиповать. Прям в памяти. И оттуда же положить на s3 уже зипом. Я когда-то делал подобное.
