Расскажите про ваш опыт с файловыми системами для мелких файлов?
Вот и снова встретился проект с гигантским количеством мелкий файлов, их триллиарды. Они мелкие до мегабайта, а чаще 100кб.
ext4 тормозит безбожно на разделе в 20 ТБ , файлов только на десятку.
Никакой тюннинг ext4 c безжурналирования, бариерами, ноэтаймами никак ситуацию не меняе, скорость дисковый операций дико низкая.
В целом эта ситуация всегда наблюдается при большом количестве файлов , но тут их очень много и бывает каталог открыть с 30 000 директорий это секунду, а то и десятки секунд, что конечно не приемлемо.
Куда идти и как жить?
Был у меня опыт с монго грид фс, но оно работает ещё медленее, но зато масштабируется, но опять такие покупать 20 серверов, когда все влезает на один как то немного не оправдано финансово.
Кто что использует из файловых систем для хранения мелких файлов?
Как вы тюните файлуху для этого?
Надеюсь увидеть здесь решение проблемы. Потому как в перспективе маячит похожее.
Мне все же кажется оптимальнее будет раскидывать по N дешевым серверам хранения. Заодно использовать их оперативку под кеш картинок. Но это только кажется. Как на деле будет даже не представляю )
Пума Тайланд: "разносить максимально все на разные файлухи"
Это нужно создавать небольшие партиции и раскидывать по ним? Или имеется в виду 1 диск ntfs, другой ext4, третий ext3 ;D Такой вариант как-то нелепо звучит.
Пума Тайланд: тогда возникает вопрос о нештатных ситуациях. Что если 1 винт навернется? Бекапов, как я понимаю, нет. У нас была ситуация, когда навернулся рейд на 2тб. Но был бекап. Новые диски синковались потом неделю на рабочем сервере. С 20тб будет тот еще гемор.
Пума Тайланд: не учел... На малых объемах используют SSD, на средних SSD-кэш. На больших... хм.. может поставить побольше оперативки и закэшировать всю файловую систему в оперативку? В виндоусе знаю фаловый кэш работает без учета особенностей магнитных блинов, так что там не вышло бы, в юникс-подобных может получше с этим.
А свой драйвер к файловой системе сложно написать? Чтобы она нормально все кэшировала? Обычно системы кэширования не учитывают особенности блинчиковой системы. Была такая мысль, но оставил ее, поняв что расходов на сосздание наверное прилично, а продать не получится)).
mirosas: много оперативки это сколько раз по 64 гб ставить надо ? Это тоже очень дорого будет, сейчас стоит то ли 64 гб то ли 128 гб.
Тут надо не драйвер писать а файловую систему, да это сложно и дорого. Если будет очень хорошая продать непроблема.
Пума Тайланд: она просто может оказаться практически никому не нужна)), и тогда продать будет сложно. Для обычной задачи SSD кэш выглядит намного привлекательней, и стоит дешевле десятки кликов по некоторым тематикам)).
Файловая система в 64 гига не помещается? хм..
Написано
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
