Какие есть распределенные master-less файловые хранилища?

Question

[Леший Городской]

Всем доброго времени суток!

Кто-нибудь знает высоконадежное распределенное файловое хранилище?

Специфика:

• master-less, names-less - только один тип узлов. Без отдельных узлов метаданных и пр. (хороший пример: cassandra или cockroachdb)
  
• источник записи - всегда только один. Нет параллельных конфликтующих операций чтения/записи
  
• количество узлов от 2ух до 100
  
• узлы слабо мощные, могут появляться и исчезать (не мгновенно - можно рассчитывать на синхронизацию, но конфигурация не является фиксированной)
  
• задержка записи и чтения не критична в пределах разумного (т.е. не HFT, но и не батч режим)
  
• поддержка избыточности, а точнее - гарантии восстановления данных
  
• linux only - windows и mac поддержка не важна
  

Опционально:

• sharding - т.е. линейное увеличение доступного размера в зависимости от количества подключенных узлов
  
• файловое api, но и собственные утилиты тоже подойдут
  

Исследовал:

• gluster с replica - не позволяет добавлять узлы в количестве больше replica proof
  
• xtreemefs - требует отдельные узлы для метаданных proof
  
• cockroachdb* - требует минимум 3 узла для raft'a proof
  
• cassandra* - java, довольно требовательна к ресурсам
  

* понятно, что написать самому обертку на БД и/или сделать портянку из скриптов для синхронизации дело 2-3ех дней, но это будет велосипед.

Comments

[Wexter]

gluster помимо реплики умеет ещё много чего
https://docs.gluster.org/en/v3/Administrator%20Gui...
возможно подойдёт distibuted replicated

[Леший Городской]

Спасибо. Смотрел - но там ограничения (The number of bricks should be a multiple of the replica count for a distributed replicated). Т.е. с моделью, когда узлы появляются и исчезают, может легко возникнуть ситуация, когда будет не кратное количество.

[Wexter]

Леший Городской, главное поддерживать одно из двух/трёх зеркал, если одно из них отвалится то ничего страшного, главное замену произвести своевременно. А так вам наверное больше подойдёт ceph, пусть ему и надо по хорошему 2-3 сервера на мониторинг, зато можно спокойно добавлять/удалять ноды, при этом реплика перераспределится на имеющиеся/новые ноды

[chupasaurus]

Без отдельных узлов метаданных и пр. (как cassandra

Чего? В кассандре все ноды равноправны. Вам, конечно, она не подойдет из-за слабых нод в любом случае, но хотя бы.

[Леший Городской]

chupasaurus, кассандра была приведена как пример правильного решения

[chupasaurus]

Леший Городской, выходные плохо влияют на меня :)

[Леший Городской]

chupasaurus, я поправлю описание))

Answer 1

[W1z4rd]

Можно глянуть https://minio.io/ а-ля свой приватный S3, нет мастера, работает на чтения при потере половины узлов и на запись, если потеряно на один меньше половины, умеет хилиться. Может хоть один узел, но алгоритмы отказоустойчивости начинают работать с 4х узлов. Возможно, это совсем не то, что вы имели в виду.

Comments

[Леший Городской]

Спасибо. На самом деле, у меня на тестах вполне кластер выживал (данные читались) и до 2ух нод, настроенных по-умолчанию.

[stratosmi]

minio не предназначен для серьезного production
имитация S3 для целей отладки - да.
использование на неответственном production - да.

[Леший Городской]

stratosmi, увы, вы правы. С мая тестировал - получилось медленно, непрозрачно и неэффективно.

Answer 2

[Macbet]

почитайте в сторону ceph, если что-то не крупное можно по 1gb/s гонять, если прям HL нужен, то без 10gb/s не обойтись

Comments

[Леший Городской]

Судя по документации - ceph не является master-less (в терминах задачи): там есть ноды хранения и ноды мониторинга. Это не подходит по пункту №1

[Армянское Радио]

Леший Городской, демон-монитор прекрасно работает на одной машине с демонами-osd.

Если вы желаете, чтобы у вас один демон отвечал за все - у вас проблемы с дисциплиной "архитектура компьютерных программ".

[Леший Городской]

Армянское Радио, позвольте с вами не согласиться: касандра и cockroach db не требуют отдельного типа демонов.
И активно используются в продакшен. Думаю сложно обвинять разработчиков этих систем в незнании "архитектур компьютерных программ".
В вашем примере: допустимо ли ставить мониторы ставить на каждом узле(вырожденный вариант) ? Если нет, то какой смысл обсуждать систему, которая изначально не подходит под требования задачи?

[Армянское Радио]

Леший Городской, да, допустимо.
Понимаете, тот факт, что что-то там работает, кому-то там продано - это отдельное утверждение от "хорошая архитектура" и "плохая архитектура". Из рыночного успеха не следует явления "хорошая архитектура". Точно также, из рыночного успеха не следует квалификация разработчиков чего-либо.

Если система, в соответствии с unix-way, разделена на разные процессы (mon, mgr, osd, mds), каждый из которых решает свою конкретную задачу и позволяет гибким образом подбирать железо - ей это только в плюс. Но это не мешает засунуть все процессы на одну физическую машину и запустить все на ней.

Answer 3

[stratosmi]

https://habr.com/company/yandex/blog/228389/
Elliptics от Яндекса. Как с его помощью создать своё отказоустойчивое хранилище