Как индексировать все файлы в AWS S3-совместимом хранилище?

Question

[Антон Неверов]

Здравствуйте!
Используем HotBox от Mail.ru Cloud Solutions. Это AWS S3-совместимое хранилище данных.
Есть необходимость кешировать все файлы на HotBox и сохранять их в базу данных. (пути до файлов, их названия и дату изменения). Структура файлов и папок произвольная. Может быть и файл в корне и большая вложенность папок с файлом в конце. Кеш нужно держать в актуальном состоянии регулярно. При загрузке нового файла, сервер уже в течении пары минут знал о новом файле. При том, что файлов может быть очень большое количество. (по 10 000+ файлов ежедневно добавляется)

Как возможно это реализовать? Насколько я вижу, в API нет возможности сортировать все ключи по дате изменения. Только получить ключи в алфавитном порядке.
Предложите возможные решения, пожалуйста. Можно без конкретных примеров, только логику работы, т.к. я не представляю, как такое можно реализовать, не создать задержек в обновлении при большом количестве файлов.

Документация по API на русском: https://mcs.mail.ru/help/storage-api

Answer 1

[Иван Шумов]

А зачем вам прослойка для S3, если вы можете сами напрямую пользоваться услугами AWS? А там все было бы просто - поставить lambda функцию на появление нового файла и она будет записывать эту информацию в DynamoDB, например

Comments

[Антон Неверов]

Пользователи, которые загружают файлы в S3 из России и по тестам, хранилище от Mail.ru работает у многих намного быстрее, чем аналоги. Поэтому такой выбор.
Но за информацию спасибо, возможно, в мэиле есть аналоги.

[Иван Шумов]

Антон Неверов, у AWS есть CDN и transfer Acceleration. Позволяет не только получать быстрее, но и загружать быстрее. Например, edge location во Франкфурте достаточнр быстры. Присутствие серверов в России не делает доставку контента быстрее само по себе. Тут важно считать число хопов и качество каналов связи. Это называется "мы просто не умеем и не проверяли"

Облако у mail ещё настолько слабое что я бы пока постеснялся таковым его называть

[Антон Неверов]

Получение, в принципе, не критично. Но загрузка важна. По ~3000 файлов за раз иногда надобность загрузить. Без различных настроек тестировали.
Про Transfer Acceleration почитал - звучит круто, но проблема в стоимости получается. Дороже почти в два раза, чем у Mail. Хотя само хранилище дешевле выходит. Посмотрим, посчитаем.

С AWS никогда не работал, поэтому не представляю, что из их сервисов может помочь.

Спасибо вам большое в любом случае. Очень информативно, буду знать на будущее.

[Иван Шумов]

Антон Неверов, если нужно, то могу отдельно помочь что-то посчитать. Я архитектор и знаю cost control. Но это уже по личным контактам и определенным договорённостям)