Имеет ли смысл использовать Amazon Glacier для хранения архива фото?

Question

[entze]

Есть архив исходников фотографий преимущественно в JPEG, допустим на 500 гигабайт разложенные по папкам. Отобранные копии и архив с превью этих фотографий есть локально и на других хранилищах, т.е. необходимости извлекать часто нет.
Но в случае чего, может возникнуть необходимость вытащить оригиналы фоток по отдельности или отдельные папки.

Из обсуждения на habrahabr.ru/post/149942/ так и не понял — действительно ли выгодно хранение, если скорее всего архивные файлы не будут востребованы достаточно долгое время?

Удобно ли заливать файлами по отдельности, или лучше паковать пачками в TAR? Как сэкономить на скачивании, если все же приспичит вытащить файлы по отдельности, папку, все?

Если кто разобрался уже, то готовый рецепт в виде ответа, а еще лучше поста было бы здорово.

Answer 1

[Sergei Borisov]

Лично я уверен, что стоит. Сейчас пишу утилиты.
У Вас как отсортированы папки? Одна папка — это одна дата съемки?
Если да, у Вас способ хранения очень близок к моему. Я в этом случае планирую делать так: одна папка с фотографиями => один файл архива.
В этом случае, при необходимости извлечь одну фотку нужно будет закачать один файл архива. Если у Вас 1000 папок, это 1000 файлов архивов, в общей сложности, 500ГБ, значит, в среднем, по 500МБ каждая. Пусть в реальности от 50МБ от 250МБ. В этом случае, даже если Вам нужно вытащить самый большой, но все таки один архив, Вы можете не обращать внимания на ограничение в 5% в месяц. Остальные платежи остаются. Но если потребуется извлечь ВЕСЬ архив. Это или будет долго или дорого.
Так, что Glacier это именно backup.

Comments

[Gasoid]

для glacier есть уже утилиты кстати
github.com/search?q=Glacier+&type=Everything&repo=&langOverride=&start_value=1

[make_luv]

А зачем папки архивировать? Так просто залить нельзя? жпег не сжимается практически. насчет рава не в курсе.

[entze]

Вот и есть вопросы. Во-первых на каждый файл есть оверхед в 32 килобайта. На большом количестве файлов конечно не набежит слишком много, но ты же за все платишь. Во-вторых плата за заливку. За 1000 операций платишь 5 центов. Верно ли это для заливки? Ведь файлов то будет много.

Насчет сжатия JPEG — на 30% можно сжать, особенно если их много в архиве. Деталей не скажу, но маковский Stuffit (есть и под win вроде) умеет сжимать. На больших объемах будет выигрыш.

[Валерий Вырва]

Sergei Borisov как продвигается разработка утилит для бэкапа фотоархива на Glacier?

Answer 2

[vjjvr]

https://habrahabr.ru/sandbox/73774/
Хранить - дешево.
Быстро скачивать назад - дорого.
Ключевое слово - быстро.

Answer 3

[Пума Тайланд]

По моему когда потерял данные, то цены гласиера совсем не дорого. Ну либо данные такие не особо нужные и дорогие.

Answer 4

[D_R]

действительно ли выгодно хранение, если скорее всего архивные файлы не будут востребованы достаточно долгое время?

Скажем так — выгоднее, чем подавляющее большинство других схем (в т.ч. Amazon S3)

Удобно ли заливать файлами по отдельности, или лучше паковать пачками в TAR? Как сэкономить на скачивании, если все же приспичит вытащить файлы по отдельности, папку, все?

Лучше паковать. Операции загрузки скачивания стоят $0,05 за 1.000 действий. Каим образом, загрузка 100 000 фотографий обойдётся в 5 долларов, скачивание — ещё минимум в 5 (плюс доп. деньги если трафик превышает 5% от объёма хранимых данных). А если они в архиве — то «тратится» всего 1 действие.

Answer 5

[D_R]

На самом деле у Glacier есть другой большой «минус» — вытаскивание всех данных оттуда в экстренной ситуации (хард рухнул, компьютер украли, дом сгорел) достаточно дорого. К примеру, скачать лежащий там 200 ГБ-архив обойдётся где-то в 25 долларов (при том, что стоимость его хранения была всего 2 доллара/месяц).