Ответы пользователя по тегу Файловые системы
  • Какая файловая система в Linux поддерживает более 4 млрд файлов?

    icCE
    @icCE
    youtube.com/channel/UC66N_jRyZiotlmV95QPBZfA
    Какая файловая система в Linux поддерживает более 4 млрд файлов?
    Как поступают крупные "хостинги фоток", вроде Facebook?


    Крупные игроки обычно используют распределенные ФС. Например Facebook использует hdfs из Hadoop.
    В yandex используют блобы (и не только они) - яркий пример - reverbrain.com/eblob
    Можно смотреть в сторону ceph и других.
    Ответ написан
    Комментировать
  • Какой наилучший способ хранения большого количества небольших файлов?

    icCE
    @icCE
    youtube.com/channel/UC66N_jRyZiotlmV95QPBZfA
    Вопросы:
    1. SSD или HDD лучше для этого использовать?
    2. Какая файловая система подойдет наилучшим образом?
    3. Как быстро диск от подобного погибнет?


    Лучше использовать гибрид в вашем случаи.
    SSD использовать как кэш для HDD + использовать часть памяти под кэш для SSD.
    ZFS все это умеет делать.

    Опять же ZFS или XFS . При XFS обязательно ИБП, хотя с ФС все стало лучше но все же.

    Если делать связку, то нормальный SSD с нормальным сборщиком мусора , будет умирать очень долго.

    Есть одно но>

    Ежедневно стандартными средствами NodeJS будет создаваться порядка ~100k архивов zip в день.
    Размер каждого архива <1кб.
    Хранить каждый из них нужно порядка месяца.


    При таком подходе, лично я бы все использовал в БД.
    Ответ написан
    8 комментариев