Ответы пользователя по тегу Хранение данных
  • Можно ли ускорить запись на ZFS через кэш?

    VoidVolker
    @VoidVolker
    Dark side eye. А у нас печеньки! А у вас?
    Да, TrueNAS умеет работать с многоуровневым кэшем из коробки. По умолчанию просто использует максимум оперативной памяти. Вам потребуется минимум три диска: один SSD под систему (флешку можно, но не рекомендую - все равно быстро сдохнет, даже дорогая - так смысл тратить, если можно просто любой простой SSD воткнуть), один SSD под кэш пула и третий под сам пул уже HDD. Черепичный диск не рекомендуется использовать с ZFS (в лом искать - в сети полно всего на на эту тему). Ман по настройке тут: https://www.truenas.com/docs/references/l2arc/
    Ответ написан
    Комментировать
  • Домашний NAS с s3 или ПК для хранений холодных данных?

    VoidVolker
    @VoidVolker
    Dark side eye. А у нас печеньки! А у вас?
    Да, возможно. Берёте любой ПК, ставите туда линукс (например Debian), затем MinIO, подключаете его к вашему серверу через VPN/SSH или открываете его наружу через белый IP и спокойно используете. Касательно NAS: s3 во FreeNAS вроде есть из коробки - но в доке пишут, что выкинули из-за уязвимостей.
    Ответ написан
    Комментировать
  • Создание домашней файлопомойки. Домашнее облако для хранения фото?

    VoidVolker
    @VoidVolker
    Dark side eye. А у нас печеньки! А у вас?
    В вашем случае идеальным решением будет купить простейший VPS у крупного хостера в большом ЦОД и нужный объем дисков к нему и плюс объем под бэкапы для самого важного. Спокойно ставите туда NextCloud или SeaFile. И навсегда забываете про проблемы оборудования и его обслуживания - просто регулярно делаете бэкапы важных данных и копию на локальный внешний диск (раз в неделю или один-два раза в месяц). Можно даже рейд-зеркало сразу взять. А проблемы оборудования решают профессионалы работающие в ЦОД. Например firstvds за 2834р предлагает 2ТБ плюс бэкап и сразу готовый сервер с NextCloud из коробки. Просто пример - наверняка есть и более выгодные варианты.
    Если так хочется именно домашний NAS - то вам придется глубоко погружаться в тему и изучить очень много материалов, а так же научиться обслуживать, настраивать и ремонтировать это все дело. И займёт это годы. Для учебных и образовательных целей - да, имеет смысл создавать дома NAS. Одно из лучших решений - TrueNAS в ПК с ECC памятью (а это серверное железо), а так же 1Гб RAM на каждый ТБ дисков, дисков - от 2 в зеркале и далее по потребностям и возможностям.
    Ответ написан
    2 комментария
  • Как настроить раид и кеш для приватного файлового сервера?

    VoidVolker
    @VoidVolker
    Dark side eye. А у нас печеньки! А у вас?
    FreeNAS имеет поддержку нескольких уровней кэширования из коробки. Первый уровень - ОЗУ: индекс ФС плюс вся оставшаяся под кэш. ЕМНИП, индекс - по гигу ОЗУ на ТБ хранилища надо. Далее - ССД как второй уровень и далее уже диски. Главная рекомендация по железу: используйте ECC память, т.к. чем больше хранилище - тем выше вероятность того, что в него попадет ошибка и сохранится. Особенно если RAID.
    Ответ написан
  • Какое файловое хранилище посоветуете под следующие нужды?

    VoidVolker
    @VoidVolker
    Dark side eye. А у нас печеньки! А у вас?
    На данный момент остановился на варианте VPS+Nextcloud

    Его и использовать. Еще из альтернатив есть Seafile - вполне нормальный вариант.
    Ответ написан
    Комментировать
  • Какую из free nas операционок можно ставить на тот же диск, на котором будет хранилище?

    VoidVolker
    @VoidVolker
    Dark side eye. А у нас печеньки! А у вас?
    OpenMediaVault, ставите, далее загружаетесь с GPartedLive и им уменьшаете основной диск и на свободном месте создаёте новый раздел. Еще как вариант, если правильно помню, конечно, можно смонтировать каталог как диск - но это надо гуглить, деталей не помню.
    Ответ написан
    Комментировать
  • Как эффективно хранить и раздавать миллиарды мелких файлов?

    VoidVolker
    @VoidVolker
    Dark side eye. А у нас печеньки! А у вас?
    условно, xml логи

    • Отказаться от хранения логов в ФС, а использовать специализированное решение - агрегатор логов (например).
    • Оптимизировать сами логи: сократить дублирующую и лишнюю информацию, выкинуть малозначимую, оптимизировать формат с целью сокращения объемов самих логов.
    • Для целей именно мониторинга состояний/статусов сервисов/приложений использовать специализированные решения типа заббикса.


    Раздача статики (условно, пользовательские файлы... к примеру, картинки — коих уже 2+Тб)

    Использовать специализированное файловое хранилище с БД и многуровневым кэшированием и соответствующей ФС. RAM - NVME - HDD. Конкретные решения не подскажу, к сожалению. Хм, а вот тут интересный тред про недостатки и особенности MinIO и судя по которому, в вашем случае оно может не подойти. Из треда:

    HDDimon:
    Так в итоге какое объектное хранилище вы выбрали? Ванильный hdfs?

    onyxmaster:
    MongoDB GridFS

    HDDimon:
    Если не секрет какой кластер и какой объем файлов храните? Какая fs?

    onyxmaster:
    Объём не очень большой, "чистый" около 150ТБ, чуть больше миллиарда объектов. Работает поверх XFS.


    В целом же, рекомендую сделать декомпозицию решения на более простые задачи и разделить нагрузку по разным типам данных на специализированные решения.
    Ответ написан
    Комментировать
  • Как сделать корпоративное файловое хранилище?

    VoidVolker
    @VoidVolker
    Dark side eye. А у нас печеньки! А у вас?
    Например NextCloud, OwnCloud.
    Ответ написан
    Комментировать
  • Что быстрее: json или sqlite?

    VoidVolker
    @VoidVolker
    Dark side eye. А у нас печеньки! А у вас?
    Словарь конечно. А в чем сложность взять и измерить?
    Ответ написан
    Комментировать
  • В чем особенности HDD диска для серверов, NAS и RAID? Стоит ли использовать его как основной для комьютера?

    VoidVolker
    @VoidVolker Куратор тега Железо
    Dark side eye. А у нас печеньки! А у вас?
    Основная особенность таких дисков — более "тупая" прошивка, которая предназначена для работы в составе массива и под управлением внешнего контроллера, который разруливает все сложные ситуации с учетом всех дисков массива (например повреждение данных или какие-то ошибки в процессе работы), расчет на непрерывную работу 24/7/365, а также, в некоторых случаях, расширенной гарантии — что сказывается на увеличении их стоимости. Домашние же ПК включается/выключается регулярно — что может негативно повлиять на такой диск. Кроме того, сегодня HDD вообще не используются как диски под систему — только SSD, как правильно вам сказали ранее.
    Ответ написан
    Комментировать