Amazon S3 — структура директорий для хранения мелкой статики (e.g. картинки)

Question

[Дмитрий Быкадоров]

Камрады, подскажите плиз: из linux'ового опыта я вынес правило, что если в проекте могут быть сотни тысяч или даже миллионы картинок, то в одной директории их держать нельзя. Как минимум для того чтобы не закончились inodes.

Сейчас же все чаще возникают мысли о выносе статики на amazon s3, в связи с чем встает резонный как мне кажется вопрос-утверждение: а там то inodes поидее кончиться не должны?!

Собственно вопрос — а что может быть плохого если массу картинок (начиная от 500К и выше) выгружать в одну директорию внутри корзины?

p.s. Кстати в корень корзины кучу-кучу файлов лучше не ложить — потом задолбаетесь удалять корзину (если вдруг потребуется конечно).

Answer 1

[sledopit]

Если вы хотите переезжать на амазон только из-за того, что файлов много и боитесь проблем с сиестемой из-за этого, то можно просто использовать другую файловую систему, где нет таких проблем. Например, XFS: там все зависит лишь от дискового пространтства.

Comments

[Дмитрий Быкадоров]

Нет, не из-за этого. В перспективе апгрейд до CloudFront, т.е. нам нужно не столько хранилище, сколько CDN.

Answer 2

[alexandris]

inode привязаны к файловой системе, т.е. могут кончиться только для определенного раздела. Как будут храниться файлы, в одной папке или разных, роли не играет.

Comments

[Дмитрий Быкадоров]

Я вот думаю еще вот что: такая масса файлов — она в любом случае слабоуправляемая, вне зависимости от того свалено все в кучу или же разложено по папкам типа /photos/d1/f6/76/d1f676ac6543.jpg. Поидее и усложнять тогда не зачем

[IlVin]

Судя по этому:
Q: How is Amazon S3 data organized?
Amazon S3 is a simple key-based object store. When you store data, you assign a unique object key that can later be used to retrieve the data. Keys can be any string, and can be constructed to mimic hierarchical attributes.
у Амазона не существует директорий.

Но на одном Амазоне свет клином не сошелся, поэтому я бы посоветовал файлы все же разбивать по директориям, чтобы не возникало вопросов при переезде в другие хранилища.

Answer 3

[Пума Тайланд]

Ну я для всего что можно использую простой шардинг
первые сто тысяч картинок храню в директории скажем 1
вторую в директории 2
и так далее
в дальнейшем легко производить всякие изменения и распределять по серверам.

Answer 4

[Zorkus]

Если взглянуть чуть дальше, возникает вопрос — а зачем хранить картинки на амазоне?

Просто у нас был проект в котором миксовались сервера арендованные в обычном датацентре, и сервера в Amazon EC2.

Так вот, если у вас ноды Амазона работают с более менее ровной нагрузкой в режиме 24/7, то арендовать сервер в датацентре возможно будет выгоднее.

Просто идеальное применение для нодов Амазона — это когда вы их запускаете на короткое время для вычислительных задач (скажем, мы запускает там на 15 нодах расчет прогнозов в некоторой задаче моделирования, которой мало времени отпущено на выполнение. Или когда вы подключаете сервера, когда в пике ваши собственные не справляются.

Comments

[Zorkus]

Поясню — я не говорю что то, что вы делаете неверно. Наоборот, хочу понять почему вы выбрали амазон для картинок — может я не знаю что -то про Амазон :)