Как реализовать распределенное надежное хранение больших файлов?

Question

[abir_valg]

Хотелось бы найти решение с открытым кодом , которое позволит организовать распределенное резервируемое хранилище больших файлов ~10Гб.
Необходим функционал по загрузке файлов, поиску, выгрузке по запросу и автоматического зеркалирования на резервные сервера для обеспечения надежности.
Стоит ли для такой задачи заморачиваться с Hadoop или есть более простые решения ?
Заранее спасибо.

Answer 1

[ldv]

LizardFS, MooseFS
CephFS , GlusterFS - но на эти две встречаются негативные отзывы

Comments

[abir_valg]

Пока исследовала Ваш ответ еще вот на это натолкнулась : ceph.com .

[ldv]

abir_valg: ну да, официальный сайт Ceph и CephFS, в частности.

[ldv]

abir_valg:
некоторые негативные отзывы
https://github.com/lizardfs/lizardfs/issues/230 (пользователь onlyjob)
https://habrahabr.ru/post/178533/#comment_6196527

Answer 2

[Антон Аплемах]

можете openstack swift ещё рассмотреть, но он капризный очень. Его настраивать надо аккуратно.
почему хотите делать именно своё? Готовый решения не рассматриваете?
Например, тут нет ограничений на объёмы загружаемых файлов и резервируется в 3 ДЦ сразу.

Comments

[abir_valg]

Нет , готовые облака не подходят.

[Антон Аплемах]

abir_valg: попробуйте вышеуказанную технологию. Но там есть проблема с масштабированием: диски должны быть одинаковыми на всех машинах