Решение для домашней сети, но требует, в первую очередь, высокой надежности (доступность не так критична).
Необходимо хранить 3 типа данных:
1) Исходные коды
Сотни тысяч маленьких файлов, многие <1кб. По большей части архивное хранение, но с возможностью достаточно оперативного доступа. (до часа — ок). На текущий день их в целом около 500гб.
Возможно git хранилище с оперативным доступом.
Всё должно быть зашифровано.
Терять нельзя никак.
2) Фотографии / видео. (На текущий момент ~1-1.5тб)
От 5мб на файл. Контент уникальный, т.е. терять крайне нежелательно, но частичная потеря не смертельна. По большей части архивное хранение. Возможно будет редкий внешний доступ на просмотр галерей или подобного через пароль.
3) Просто общие файлы сети, текучка. Музыка, фильмы, торренты и т.п. (на текущий момент ~1 тб)
Терять можно, информация возобновляема. Но необходим частый быстрый доступ.
Дальше мои размышления, которые могут быть не корректны. Прошу поправить.
Вместо использования рейдов я думаю настроить резервное копирование по расписанию. Логика была в том, что мне не требуется экстренный доступ к хранимым данным, так что нагружать 2 диска на постоянную работу смысла не вижу.
Для контроля целостности и диск источник и диск для бекапов будет иметь файловую систему с такой возможностью (типа zfs).
Предполагаю, что можно сделать текущую задачу с 4мя дисками по 2ТБ. Думал о варианте с 1 массивом на 4 диска или 2 по 2 диска, хотя можно рассмотреть и другие варианты.
Первый диск с малым размером кластера под первый тип данных.
Ежедневное резервное копирование на 4й диск.
Ежемесячное копирование на отдельный usb диск, который лежит на полке.
Дополнительное копирование особо важных документов в dropbox/google drive/s3.
Второй диск с большим размером кластера.
Резервное копирование на 4й диск только облегчённых версий файлов (т.е. вместо 100 мегабайтного raw'а создается лёгкий jpg на пару мегабайт). При утрате оригинала хотя бы останется «фотография на память». Особо ценные снимки (коих мало) резервно копируются целиком.
Третий диск со стандартным размером кластера.
На него будет основная нагрузка. Музыка / кино будут транслироваться в сеть.
Так же на него будут скачиваться торренты и вообще будет использоваться как файлопомойка.
Четвертый диск — диск для бекапов.
Используется исключительно для резервного копирования.
На текущий момент остановился на 2х вариантах:
qnap TS-563 и Synology DS1515+
Они пяти дисковые (один про запас) и довольно мощные что бы на их базе можно было развернуть рабочие инструменты.
По всем обзорам ощутимо лидирует qnap (кроме софта), но они вызывают стойкое ощущение что их кто-то проплатил.
Что планируется разместить на NAS'е из софта:
— Торрентокачалки ну и стандартный набор для таких устройств даже не учитываю
— Gitlab (до 5 человек доступ)
— Jenkins
— Nodejs + mongodb приложение (которое с гита собираться будет как раз), доступ редкий (для тестов), не ресурсоёмкое
Возможно последнее будет внутри виртуальной машины
Спасибо за помощь.
upd 1.
Судя по всему всё что я хочу невозможно реализовать на базе именитых NAS'ов банально по причине ограниченного выбора ФС.
Быть может посмотреть в сторону The FreeNAS Mini?
ups 2.
Было решено собирать сервер с нуля на базе FreeNAS и вводить функционал инкрементально: сперва самое необходимое и потом по наличию времени на настройки.
+1 За FreeNAS — система огонь! Только учтите, что на каждый ТБ нужно примерно +1 ГБ ОЗУ, и ОЗУ надо с ЕСС обязательно. В вашем случае памяти надо от 16Гб — большая часть свободной памяти используется под кэш, так что чем больше - тем лучше. Там есть отличнейшая фича - jails (типа как контейнер в линуксе, но для БСД) — для их хранения надо отдельный диск, а в 11 версии еще и стандартную виртуализацию сделали (винда, лиунксы и т.п). Возможно в 11 это исправили — не смотрел еще 11 версию. Еще одна отличнейшая фича — возможность использовать SSD под кэш.
Забей на любой тип готового сетевого хранилища! Так иногда таааакие перлы вылезают. Волосы дыбом встают. Возьми мать на простеньком проце последнего поколения. Возьми корпус под 4 винта с горячим извлечением. Определись с осью. И только тогда ты будешь спать спокойно, не переживая з свои данные.
Сергей, при всём желании не обладаю таким количеством времени и не уверен что сборная солянка выйдет лучше специализированного решения. Во сколько человеко-часов ты оцениваешь то что предлагаешь, при условии что тот кто это будет делать, раньше таким не занимался? С учетом обилия различных моментов, поддерживаемых платформ, прав доступа и ещё кучи вещей я боюсь что на это уйдет в лучшем случае часов 100.
При этом вообще не факт что надежность будет хотя бы близко сопоставима.
факт похода в магазин займет от силы 2 часа (включая рытье в прайсе). факт установки оси еще час. часов пять на отладку. а теперь в противовес того что я сказал .. вероятность остаться без данных при обновлении прошивки на nas-ах. добавим глюки связанные с откатом настроек на ноль при разных факторах ... я думаю что своё будет попроще.
Сергей, ну давай я посчитаю тебе, ок, не поленюсь.
1) Понять какое железо надо (комплектация), часа два уже минимум
2) Понять как запихнуть в малый и тихий корпус, ещё часа два
3) Найти этот самый малый и тихий корпус. Ой, в моем городе такого не продают? Ну ок, значит ищем где заказать. Доставка от 2 недель? ну что поделать.
4) Купить комплектующие (как это не просто зашел и купил? Только доставка? ой) ну допустим часа 2 на нахождение и оформление
5) Распаковать что купил, собрать в корпусе и аккуратно зафиксировать все провода. 2 часа
Вот уже покупка заняла МИНИМУМ 8 часов, не учитывая ожидания черт знает сколько.
Окей, накатить софт. Какой?
6) Выбор оси — ещё часа два
7) Выбор софта для управления — часа четыре (надо же посмотреть функционал и понять что подходит, да?)
8) Разобраться с настройками прав доступа в оси 8 часов (как это ты не системный администратор и не умеешь быстро и круто настроить всё за час?)
9) Настроить всякие PhotoStation, VideoStatin, MusicStation, бекапы, хренапы и ещё кучу говна для расшаривания файлов, совместной работы и т.п. (и вообще понять где их взять, настроить и собрать) часов 60. Минимум.
8 часов на всё? Ты очень крут, если можешь так. Я не могу.
Быть может, есть возможность что я оплачу твой рабочий день и ты мне это всё сделаешь? :-) Я готов подробное ТЗ написать. Ну да, соберу сам, но поиск всех компонентов + настройка по rdp (ну или тимвью там) на тебе, что скажешь?
>вероятность остаться без данных при обновлении прошивки на nas-ах
Звучит очень печально. Какова вероятность такого? Вроде же компании специализируются на предоставлении решений для резервного копирования, и хочется мне верить, что настолько крупно они не лажают.
Сергей: хотя с учетом последней информации (что ФС с поддержкой целостности недоступны) выбора, похоже, не остается и придется изучать вопрос. Значит растяну настройку софта на долго, и внедрю сперва только необходимое… :-( Спасибо
Александр Зеленин: соберите мелкий системник это будет проще и более контролируемо, как вы собираетесь шифровать данные на кунапе или синологи не очень понятно, не уверен что они уже суппортят зфс.
Пума Тайланд: да уже какая разница то, если и оно не поддерживается :-) Судя по всему выбора, действительно, нет, и единственный вариант это сборка своего :-(
Мне не очень у seagate софт понравился. Тут же важна сочетаемость софт + железо. В этой комбинации, вроде как, только двое остаются: qnap и synology. Много софта от пользователей, докер со всей мощью и т.п.
xmoonlight: :-) если после покупки на настройку уйдет 40 часов, а у меня, допустим, час стоит 1000р (а это сильно не так), то + к стоимости 40 000 рублей можно считать смело. Так что тут основную цену вообще не железо играет.
Не совсем в тему, но у меня организовано хранение цифровых закромов для безопасности и надежности следующим образом (условно):
1) Рабочие материалы текущих проектов - локальный диск + синхронизация через Google Drive + Различные облачные решения для совместной работы с кодом, дизайном, графиками и проч. Требования - безопасность, доступность, возможность совместной работы версии.
2) Архивы документации и рабочих материалов по проектам и их бекапы и мультимедиа закрома в том числе семейные - фото и видео, моя персональная База знаний - файлы, презентации, видео обучающие, документация и проч. и проч.) - Локальный диск.
Все локальное бекаплю на внешний диск и на Amazon Cloud Drive c помощью локальной софтины Syncovery.
3) Сервера на провайдере. Бекап идет локально, на второй сервер, на Amazon Cloud Drive.
Отдельно про Amazon Cloud Drive + Syncovery. Место у Амазона не ограничено за 59 или 69 долларов. Syncovery может забирать в разных режимах не только с локального диска и любых сетевых устройств, но и с других внешних сервисов ! Т.е. я собираю бекапы с серверов по ssh, c нескольких облаков.
Средний
