Как подсчитать размер фс включая место для самой фс?

Question

[DollyPapper]

Всем привет. Суть проблемы следующая. Мы передаем на хост файл с kv бд (.sst, rocks db). Сам файл это сделанный предварительно fallocat'ом пустой файл, куда накатывается ФС, после чего уже внутри этого файла создает .sst и в .sst пишутся данные. Проблема в изначальном определении какого размера создавать файл. Сейчас мы считаем так 50mb + (nr_changed_blocks*changed_blocks_count) +5%. Но иногда этого места не хватает. Проблема тут как раз в этих 50mb. Это заложено под саму фс. Иногда фс по факту имеет больший размер и на запись nr_changed_blocks*changed_blocks_count не остается места. Как посчитать размер необходимый для самой фс? Есть формула может? Фс ext4.

Comments

[SunTechnik]

Что за величины nr_changed_blocks changed_blocks_count и какого порядка эти величины?
На файловой системе 1 файл или много? Есть ли подкаталоги?

На вскидку накладые расходы ext4:
5% - резервирование по умолчанию.
- журналирование операций. (надо искать как используется место)
-копии суперблока
-таблица inodes (возможно, лежит в сеперблоке)
-размер блока =4к. Поэтому любой файл не нулевой длины занимает минимум 4к.
-каждый каталог - это файл. Со всеми вытекающими..

Поэтому, накладные расходы сильно зависят от содержимогр файловой системы.

[pfg21]

сделать образ большего размера.
отключить журналирование и прочие ненужные в данном использовании фишки.
накатить файл.
обрезать образ по файлу.
посмотреть размер образа.

[mayton2019]

5% места резервируется под нужды пользователя root для аварийно-восстановительных работ. Но если это точка монтирование не для ОС а для прикладных задач то этот резерв можно убрать.

Answer 1

[Вячеслав]

Ext4 создаёт таблицу inode'ов, эта таблица занимает несколько процентов от самого диска. Сколько конкретно сказать сложно, mkfs.ext4 вычисляет этот размер по какому-то своему алгоритму. Но этот размер можно зафиксировать через параметр -N для mkfs.ext4. Идиотские 5% можно тоже отключить через параметр -m (или после создания фс утилитой tune2fs). Например:

truncate -s1g /tmp/disk
mkfs.ext4 -Fm0 -N10000 /tmp/disk

в файловой системе можно будет создать всего 10000 файлов

А можно использовать xfs там проще и нету идиотских пяти процентов.

Comments

[Руслан Федосеев]

идиотские 5% говорите...
делаете сервер с одним разделом на весь диск. На сервере запускаете mysql, апач и какой нить там вордпресс. Полученным сайтиком активно пользуетесь. Через N месяцев мускул сжирает все место и падает, и вы начинаете судорожно искать способ зайти на сервер и починить....