Доброго всем, чего-то там.
Ну вот и меня коснулись технологии для создания больших файловых "помоек". Прогулки по интернету показали очень много интересного и замечательного, но дело в том, что всё должно быть достаточно просто, так как вся эта кухня ляжет на плечи другого админа. А значит тяжёлые штуки, как LustreFS не подойдёт, да и сам можешь забыть, что делал. Пришло время выбирать, moosefs или glusterfs, обе системы достаточно простые, как в установке так и настройке. Конечно есть, НО, glusterfs масштабировать надо парно, один берёт удар на себя второй страхует, то есть поставить 3 севера и ждать прироста места не выйдет, конечно есть striped volume, но когда отвалиться один, то развалится всё.
Прошло время, я начал думать в другую сторону и мне в руки попало интересное описание moosefs. Конечно взялся за тесты, так же в плюс могу сказать, что не важно сколько и каких у вас серверов, оно будет работать хорошо. Когда отваливается один сервер, то бывают паузы, но обычному пользователю это не видно, а если сеть хорошо построена, то будет даже не заметно.
Я в последствии напишу подробную инструкцию, как устанавливать, добавлять сервера и, что искать в случай падения "мастера". Из минусов, наверное самый большой - это оперативная память, он её ест нещадно. Шифрование и геолокацию можно организовать по средствам vpn, ничего страшного не будет. Советую использовать 2 сетевые карты, тогда можно будет увеличить отклики на запрашиваемые файлы. Конечно стройте raid для надёжности, ведь всё сразу умереть не может.
Так вот вопрос знатокам и тем кто сталкивался. Неужели нельзя высвободить оперативную память на ssd диски и пусть они там ворочаются?
Простите за много букв, а так же СПАСИБО всем, кто отзовётся!
На moosefs не смотрел, но вот с гластером как раз и обожглись на расширении.
Тоже долго искали простое решение на замену GPFS. И в результате поисков остановились на "сложном" CEPH. Ну и для помойки подойдет CephFS. Попробуйте, это сейчас практически лидер рынка. Мы не пожалели,уже более трех лет - полет нормальный. И это не только файловая система, а еще и диски для виртуалок и облачное хранилище для файлов, все в одном. Расширяется очень просто, разворачивается за час, из этого часа, 50 минут - чтение документации, которую прочитать необходимо.
Да, отдельно про производительность, она великолепна! Можно добавлять и SSD и SAS и все это очень гибко настраивать, как кешированием, так и быстрыми пулами для критичных данных.
Да, документация очень хорошая.
В самом начале рассматривал CephFS, были моменты которые смутили, то ли я не понял, то ли это и правда сложно. По отзывам система достаточно простая, устойчивая к падениям и разрастается хорошо, конечно на словах всё всегда сложно, пока не будет собрано на коленке ))
Спасибо
Алексей Черемисин: пока у меня ещё не выбрана система, по этому могу тестировать и пробовать. Зато теперь я знаю у кого можно спросить, если, что-то будет не так ))
Спасибо Вам за добрые слова и советы
Простой
Средний
Сложный