Ceph или хадууп?

Question

[Фрол Шмелев]

Здравствуйте, подскажите пожалуйста, что лучше использовать для хранения файлов ceph или хадуп. Хранить будем небольшие файлы - обычные офисные документы, может и большие файлы, но редко. Хотим реализовать веб-клиента и внутренне приложение для просмотра, скачивания и загрузки. Также на хадупе может быть возможно сделать какие-то распределенные вычисления? У нас ВУЗ и если хранение файлов можно совместить с какой-нибудь долей науки было бы неплохо.Основная цель - конечно, распределенная файловая система.

Comments

[Вадим Шаталов]

Ты же в курсе что минимальный размер блока в HDFS 64 Мб и для хранения мелких файлов это не самый лучший выбор?

[Everything_is_not_so_bad]

А сколько таких файлов планируется хранить и какой их общий объем?

[pfg21]

Вадим Шаталов, блок в 64 мб емнип в гуглфс, немношко другой файловый систем...
а в хдфс "типичный" размер блока 128 мб :)

[Вадим Шаталов]

pfg21, https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html
A typical block size used by HDFS is 64 MB

[Фрол Шмелев]

планируется хранить несколько террабайт - до 10 ТБ мелких файлов, файлы в среднем от 1-2 Мб

Answer 1

[Олег Волков]

Добавьте в список NFS и CIFS. Классическая файлопомойка.

Answer 2

[Everything_is_not_so_bad]

Не работал с обоими, но, насколько понимаю, Hadoop заведомо не подходит, если речь только не об оффлайн хранении и обработке документов.
Похоже, что вам остается Ceph, который, кстати, реализует интерфейс S3.

Зато в MongoDB есть GridFS и она хорошо масштабируется. GridFS разбивает файлы и хранит их кусками 255 kB.
Еще есть GlusterFS и другие решения.

Answer 3

[Никита Чуков]

Однозначно не hadoop.
Хадуп крайне не эффективно хранит файлы чей размер меньще размера блока
Хадуп точно не для online решений
Хадуп требует сложной и хорошо продуманной инфраструктуры
Накладные расходы на нормальный отказоустойчивый кластер, заставят вас рыдать в том случае если у вас меньше 250 Tb.
Хадуп это не про один раз настроил и забыл