Какое облачное хранилище использовать для сервиса с миллионами мелких файлов?
Делаю большой каталог устройств. У меня несколько терабайт картинок к товарам по 40-60кб думаю куда это проще и дешевле загрузить. Amazon S3 говорит, что billable object size of 128KB, что делает хранение дорогим, у Azure я не смог найти как они маленькую картинку будут тарфицировать. У Azure куча опций, вроде все эти Page Blobs и Block Blob. Пока я расчитываю на где-то 100 файлов в секунду. Это 5Mb/s, но random access.
Свой сервер не вариант, потому что хочется CDN.
Какой вариант посоветуте?
Запилите простое облачное приложение на том же amazon использующее их же хранилище, по вашей задаче не изучал, но обычно для запросов внутри их 'локального' облака там много послаблений в тарифных планах.
Вообще то у amazon очень дорогой сетевой трафик, и использовать его для подобных задач выгодно очень сложно (соотношение месячного трафика к общему объему у вас должно быть сильно маленьким чтобы использовать их системы было выгоднее 'своих', т.е. хранить много отдавать редко).
Если деньги вам дороги и ваши объемы не больше сотен гигабайт (речь об активном окне данных), арендуйте пару ssd vps-ок (в разных датацентрах), ставьте одну резервной (с репликацией) и используйте любую key-value базу данных.
Я пользуюсь отечественным решением, хотя их cdn-сервера есть по всему миру - selectel.ru (ссылка реферальная). Есть cdn, кеширование, бекапы и всё что может понадобиться. Хранение терабайта файлов - 1300 рублей в месяц, трафик - около 10 тысяч за терабайт
Простой
