Есть ли утилита для просмотра списка файлов в ZIP на S3 бакете?

Иван Шумов,

вся проблема в том что s3 это http протокол. Отсюда все ограничения. Он не имеет byte-order операций

byte-order - это термин про другое, endianness. А что касается byte range, то документация повествует о возможности скачивать произвольные куски файлов:
https://docs.aws.amazon.com/whitepapers/latest/s3-...

Using the Range HTTP header in a GET Object request, you can fetch a byte-range from an object, transferring only the specified portion. You can use concurrent connections to Amazon S3 to fetch different byte ranges from within the same object.

Есть ли утилита для просмотра списка файлов в ZIP на S3 бакете?

У RAM тоже random, но подконтрольно программе. А у S3 это как-то по-другому?
По идее, именно random доступ и нужен для получения произвольных частей ZIP, не так ли (по аналогии с чтением с диска)?

Есть ли утилита для просмотра списка файлов в ZIP на S3 бакете?

Это надо проверить. Если у s3fs числится такое заявление:

allows random writes and appends

Есть ли утилита для просмотра списка файлов в ZIP на S3 бакете?

Хм. Интересный вариант. Только похоже больше на POC. Не думаю, что стану дорабатывать такой код или писать с нуля...

Есть ли утилита для просмотра списка файлов в ZIP на S3 бакете?

Иван Шумов,

Сам по себе s3 позволяет в чанки но это бесполезно если с файлом не получится работать до окончательной загрузки. Zip архив это все-же один файл, а внутренняя структура там закодирована

Да, но ZIP != TAR. У первого есть каталог в хвосте файла и его можно считать в память, не беря всего остального.

Есть ли утилита для просмотра списка файлов в ZIP на S3 бакете?

Иван Шумов, так это ограничение из-за ZIP, S3 или S3FS? Или вместе? :-)

Есть ли утилита для просмотра списка файлов в ZIP на S3 бакете?

Иван Шумов,

будет произведено полное скачивание файла локально)

А это достоверно известно? Откуда информация?

Есть ли утилита для просмотра списка файлов в ZIP на S3 бакете?

Спасибо. А если s3fs подключается удаленно к S3, то скачивается файл целиком или только часть, необходимая для просмотра ZIP?

Как работать с большим количеством запросов?

Иван Шумов, мне кажется, что автору вопроса интересен сам механизм валидации.

Как работать с большим количеством запросов?

А где код?

Как работать с большим количеством запросов?

Но это же не решит вопрос насчет однократного добавления на 10 рублей. Просто очередь разрулит ожидание блокировки СУБД и будет поочередно добавлять 1000 раз по 10 рублей.
Вопрос, по-моему, не про то как держать нагрузку при конкурентных запросах, а про махинации с суммами.

Как сделать select из множества однотипных таблиц mysql?

Есть много однотипных таблиц вида
log_201901
log_201902
...
log_202103

Это вы автор этого творения?

Как сгенерить клиент по swagger.json openapi3?

impressive17, не знаю параметров команды. Там по ссылке Readme. Думаю, найдете.

Как распознать изображение на opencv?

ну вот, лишил человека возможности помучаться над кодом.

Есть идея, поможете советами?

Неплохая идея.

Как оптимизировать UPDATE + 1?

Если перезапустить Redis, то будут устаревшие данные с последнего снэпшота.

Как оптимизировать UPDATE + 1?

ThunderCat, везде есть свои риски и компромиссы.

Как оптимизировать UPDATE + 1?

FanatPHP, тоже пропадут, если хранить там, если использовать как основное хранилище.

Что популярнее по вакансиям Go или Node.JS?

Saboteur, Да и язык Go позаимствовал подобие ООП из языка Oberon-2 (1991-й). Я не говорю уже за многие особенности синтаксиса языка C.

Какие языки "убийцы" C/С++?

Да не "убийцы" никакие. Каждый из занял свою нишу. К чему этот холиварный вопрос был задан?