Какую распределенную файловую систему лучше использовать для кластера?

Question

[Lisio]

Стоит задача организовать внутри кластера linux серверов быструю автоматическую репликацию загружаемого пользователями контента без использования CDN. Сами сервера находятся в разных городах. Подскажите, какая файловая система или технология подойдет для этого лучше. GlusterFS, NFS или что-то еще, о чем я скорее всего не слышал.

Answer 1

[liveder]

Посмотрите в сторону Riak
Весьма достойно, хоть и не фс.

Comments

[Lisio]

Где можно прочитать про хранение в ней файлов и скорости отдачи содержимого по сравнению с отдачей статики тем же nginx?

[liveder]

нигде
но никто не мешает вам перед ним поставить nginx

[Lisio]

В целом получилось вполне себе рабочее решение. Файлы сохраняются в базу бинарном виде, а получаются уже через nginx в режиме прокси с небольшим rewrite'ом и локальным кешированием. Из плюсов здесь удобство масштабирования и быстрая репликация, а из минусов — необходимость в месте под кеш и рост числа дисковых операций. В любом случае — моя вам благодарность, у меня теперь есть еще один кандидат на роль хранилища.

[liveder]

быстро вы как-то :)
у меня на внедрение это в продакшн времени гараздо больше заняло :)

[Lisio]

До production'а очень далеко, пока что только проверил, что схема работает. Поднял две виртуальных машины, поставил в каждую riak и объединил в кластер. На хост-машине написал небольшой php-скрипт для загрузки картинки и настроил nginx как кэширующий прокси. Все работает как надо, но пока это только один вариант из нескольких, еще выбираю инструменты под проект.

[liveder]

riak на двух машинах смысл теряет
там минимум нужно 3 системы.

[Lisio]

В production'e минимум будет больше, чем 3.

Answer 2

[Пума Тайланд]

делайте rsync
вообще кластерные файловые системы разрабатывались для других вещей.

Comments

[serjs]

Вы хотели сказать lsyncd. DRDB в двухстороннем синке приведет к потере данных в итоге, если i/o будет немалым, но в качестве взаимозаменямой подстановки — вполне так хорошо работает.

[ValdikSS]

Или lipsync

Answer 3

[Nail]

Может drdb в асинхронном режиме?

Comments

[Lisio]

Он позволяет организовать репликацию, например, для 5 серверов?

[intnzy]

Нет, не позволит. DRBD только на 2 узла.

Answer 4

[Вячеслав Слинько]

Мне нравится GlusterFS, правда сильно его не тестировал.