• Какой наилучший способ хранения большого количества небольших файлов?

    icCE
    @icCE
    youtube.com/channel/UC66N_jRyZiotlmV95QPBZfA
    Вопросы:
    1. SSD или HDD лучше для этого использовать?
    2. Какая файловая система подойдет наилучшим образом?
    3. Как быстро диск от подобного погибнет?


    Лучше использовать гибрид в вашем случаи.
    SSD использовать как кэш для HDD + использовать часть памяти под кэш для SSD.
    ZFS все это умеет делать.

    Опять же ZFS или XFS . При XFS обязательно ИБП, хотя с ФС все стало лучше но все же.

    Если делать связку, то нормальный SSD с нормальным сборщиком мусора , будет умирать очень долго.

    Есть одно но>

    Ежедневно стандартными средствами NodeJS будет создаваться порядка ~100k архивов zip в день.
    Размер каждого архива <1кб.
    Хранить каждый из них нужно порядка месяца.


    При таком подходе, лично я бы все использовал в БД.
    Ответ написан
    8 комментариев
  • Какой наилучший способ хранения большого количества небольших файлов?

    Wolfnsex
    @Wolfnsex
    Если не хочешь быть первым - не вставай в очередь!
    SSD или HDD лучше для этого использовать?
    HDD обычно служат дольше и дешевле за единицу объёма, SSD - быстрее. По этому, "лучше" зависит от контекста.

    2. Какая файловая система подойдет наилучшим образом?
    Можно попробовать Btrfs, там ограничения на кол-во файлов нет. Не могу пока ничего сказать кардинально хорошего или плохого про эту ФС... для пробы поставил на одну боевую машину, где-то с год с небольшим стоит, полёт нормальный.

    3. Как быстро диск от подобного погибнет?
    У меня в обычном сервере (небольшая однопроцессорная машина в 4 ядра) лет 5 HDD'шник простоял, под приличной нагрузкой, обычный WD. Потом "от греха подальше" я его сменил.
    Ответ написан