Какие распределенные файловые системы или хранилища сейчас популярны?

Задал вопрос про сайт картинок. Все хором послали в S3 - но это сервис. А если самому всё делать. Какие инструменты администрирования сейчас популярны? Ceph?.. Может ещё что-то?

Какие есть варианты резервирования и администрирования массива файлов(картинки/мемасы)?
  • Вопрос задан
  • 585 просмотров
Решения вопроса 1
@MechanID
Админ хостинг провайдера
Ну тут вопрос сначала о бюджете и только потом о технологиях.
приведу реальный пример - есть 100ТБ электронных писем(почтовый хостинг) - миллиарды мелких файлов, есть зоопарк стораджей которые отдают это по NFS в контейнеры и виртуалки. Никаких обджект стораджей и цефа(или другой распределенной ФС).
сами стореджи - от просто 2U серверов с кучей дисков до СХД dell unity различный моделей.
горячего резервирования нет (ибо дорого), есть бекапы.
Поэтому вам нужно тщательно считать - возможно резервирывание и распределенный сторедж это то что вы не можете себе позволить, а вот просто 2U сервера от например supermicro на 24 или 50 дисков, которые отдадут NFS шару соседним серверам с контейнерами это то что вы можете позволить.
Отдельно нужно считать сколько стоит минута или час простоя вашего сервиса.
Ответ написан
Пригласить эксперта
Ответы на вопрос 6
gbg
@gbg
Баянист. Тамада. Услуги.
А вам правильно ответили - не используйте распределенные файловые системы, используйте S3, пусть даже поверх того же ceph

Файловая система должна предоставлять огромное количество очень жестких гарантий, что оборачивается крайне низкой производительностью в распределенном случае.

Теоретическое обоснование:

https://ru.wikipedia.org/wiki/%D0%A2%D0%B5%D0%BE%D...
Ответ написан
Jump
@Jump Куратор тега Системное администрирование
Системный администратор со стажем.
Какие распределенные файловые системы или хранилища сейчас популярны?
Популярны многие, а вот какие подойдут под конкретную задачу - неизвестно, поскольку неизвестны требования.

Быстро и без забот - S3
Если на своем можно готовые решения вроде Ceph
Если не устраивает функциональность готовых решений - можно делать с нуля.

Выбирается то что наиболее удобно и подходит под задачу.
Ответ написан
dyuriev
@dyuriev
A posteriori
Если штат сотрудников сильно ограничен (а то и вообще в соло работаете), то все просто:

Если самому, то Ceph. Нормальное комьюнити, простая реализация.
Если не самому, то S3-совместимые решения, а не только амазон.

Если штат сотрудников позволяет напрячь людей, чтобы реализовывали - у них лучше спросите, им работать с решением.
Ответ написан
@Ar20L80
Здесь некоторый обзор фс: https://itelon.ru/blog/raspredelennye-faylovye-sis...
Еще информация: https://fb.ru/article/447249/raspredelennaya-faylo...
Самому с нуля что-то делать может оказаться очень затратно и долго.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы