Куда подевалось дисковое пространство в zfs?

Question

[Валерий Муханов]

Размер тома - 14.5T, а размер набора данных, созданного на этом томе - 6.09T.
Никаких квот не установлено.

# zpool get size                                                                                                    
NAME          PROPERTY  VALUE  SOURCE                                                                                               
hdd1          size      14.5T  - 

# zpool get all hdd1                                                                                                
NAME  PROPERTY                       VALUE                          SOURCE                                                          
hdd1  size                           14.5T                          -                                                               
hdd1  capacity                       22%                            -                                                               
hdd1  altroot                        /mnt                           local                                                           
hdd1  health                         ONLINE                         -                                                               
hdd1  guid                           3863011763114068054            default                                                         
hdd1  version                        -                              default                                                         
hdd1  bootfs                         -                              default                                                         
hdd1  delegation                     on                             default                                                         
hdd1  autoreplace                    off                            default                                                         
hdd1  cachefile                      /data/zfs/zpool.cache          local                                                           
hdd1  failmode                       continue                       local                                                           
hdd1  listsnapshots                  off                            default                                                         
hdd1  autoexpand                     on                             local                                                           
hdd1  dedupditto                     0                              default                                                         
hdd1  dedupratio                     1.00x                          -                                                               
hdd1  free                           11.3T                          -                                                               
hdd1  allocated                      3.20T                          -                                                               
hdd1  readonly                       off                            -                                                               
hdd1  comment                        -                              default                                                         
hdd1  expandsize                     -                              -                                                               
hdd1  freeing                        0                              default                                                         
hdd1  fragmentation                  20%                            -                                                               
hdd1  leaked                         0                              default                                                         
hdd1  feature@async_destroy          enabled                        local                                                           
hdd1  feature@empty_bpobj            active                         local                                                           
hdd1  feature@lz4_compress           active                         local                                                           
hdd1  feature@multi_vdev_crash_dump  enabled                        local                                                           
hdd1  feature@spacemap_histogram     active                         local                                                           
hdd1  feature@enabled_txg            active                         local                                                           
hdd1  feature@hole_birth             active                         local                                                           
hdd1  feature@extensible_dataset     enabled                        local                                                           
hdd1  feature@embedded_data          active                         local                                                           
hdd1  feature@bookmarks              enabled                        local                                                           
hdd1  feature@filesystem_limits      enabled                        local                                                           
hdd1  feature@large_blocks           enabled                        local


# zfs get quota hdd1                                                                                                
NAME  PROPERTY  VALUE  SOURCE                                                                                                       
hdd1  quota     none   local 

# zfs  list                                                                                                         
NAME
hdd1                                                   6.09T   728G   140K  /mnt/hdd1                                               
hdd1/.system                                           64.7M   728G   151K  legacy                                                  
hdd1/.system/configs-5ece5c906a8f4df886779fae5cade8a5  44.8M   728G  44.8M  legacy                                                  
hdd1/.system/cores                                     17.8M   728G  17.8M  legacy                                                  
hdd1/.system/rrd-5ece5c906a8f4df886779fae5cade8a5       140K   728G   140K  legacy                                                  
hdd1/.system/samba4                                     523K   728G   523K  legacy                                                  
hdd1/.system/syslog-5ece5c906a8f4df886779fae5cade8a5   1.36M   728G  1.36M  legacy                                                  
hdd1/ESXi                                              4.06T  4.39T   389G  -                                                       
hdd1/ESXi1                                             1.02T  1.57T   158G  -                                                       
hdd1/backup                                            1.01T   728G  1.01T  /mnt/hdd1/backup

Comments

[Валерий Муханов]

#df -h                                                                                                             
Filesystem                                               Size    Used   Avail Capacity  Mounted on                                  
hdd1                                                     728G    140K    728G     0%    /mnt/hdd1                                   
hdd1/backup                                              1.7T    1.0T    728G    59%    /mnt/hdd1/backup                            
hdd1/.system                                             728G    151K    728G     0%    /var/db/system                              
hdd1/.system/cores                                       728G     18M    728G     0%    /var/db/system/cores                        
hdd1/.system/samba4                                      728G    523K    728G     0%    /var/db/system/samba4                       
hdd1/.system/syslog-5ece5c906a8f4df886779fae5cade8a5     728G    1.4M    728G     0%    /var/db/system/syslog-5ece5c906a8f4df886779f
ae5cade8a5                                                                                                                          
hdd1/.system/rrd-5ece5c906a8f4df886779fae5cade8a5        728G    140K    728G     0%    /var/db/system/rrd-5ece5c906a8f4df886779fae5
cade8a5                                                                                                                             
hdd1/.system/configs-5ece5c906a8f4df886779fae5cade8a5    728G     45M    728G     0%    /var/db/system/configs-5ece5c906a8f4df886779
fae5cade8a5

[Валерий Муханов]

Разница возникает между размером тома и размером набора данных верхнего уровня.
Для набора данных верхнего уровня квот нет.
Внутри набора данных все нормально.
Резервируемые пространства определены внутри набора данных верхнего уровня для zvol.

Answer 1

[АртемЪ]

Пробовали
zfs list -t snapshot ?

Comments

[Валерий Муханов]

Да, там пусто

Answer 2

[stoitli]

файловые системы типа copy-on-write, к которым относится ZFS, не освобождают место при удалении
а если вы использовали zfs clone или zfs snapshot - тем более.

Answer 3

[Diman89]

Подскажут тут: forum.ixbt.com/topic.cgi?id=109:256

Answer 4

[athacker]

Не очень понятно, что вас смущает. Вы своё пространство зарезервировали под ZVOLы. Сейчас у вас занято 6.09 Тб, и ещё 5.96 доступно в сумме на датасетах:

hdd1/ESXi 4.06T 4.39T 389G -
hdd1/ESXi1 1.02T 1.57T 158G -

(вторая колонка -- available space). Что в сумме нам даёт 12.05 Тб. Плюс 728 Гб доступных на коревом датасете. В сумме получается ~12.8 Тб. Плюс-минус, с учётом метаданных, вот он ваш объём, нет?

Comments

[Валерий Муханов]

на ZVOLах
hdd1/ESXi 4.06T
hdd1/ESXi1 1.02T
на датасете
hdd1/backup 1.01T
Соответсвенно, в сумме на датасете верхнего уровня hdd1 6.09T
Всего два датасета (верхий уровень hdd1, нижний уровень - hdd1/backup)
Откуда дополнительно 5.96T?

[athacker]

Валерий Муханов: я ж написал -- смотрите вторую колонку у zvol'ов, это available (free) space. Т. е. ваше свободное место зарезервировано под ZVOLы.

[Валерий Муханов]

athacker: Если взять жесткий диск на 500 G и создать два ZVOLа по 200G, то получим

# zpool get size                                                                                                    
NAME          PROPERTY  VALUE  SOURCE                                                                                               
hdd           size      460G   -

# zfs  list                                                                                                         
NAME                                                   USED  AVAIL  REFER  MOUNTPOINT                                                                                                
hdd                                                    406G  39.4G    88K  /mnt/hdd                                                 
hdd/.system                                            636K  39.4G    96K  legacy                                                   
hdd/.system/configs-ea02119b0df4495ba64ec1dbdd61ed06    88K  39.4G    88K  legacy                                                   
hdd/.system/cores                                       88K  39.4G    88K  legacy                                                   
hdd/.system/rrd-ea02119b0df4495ba64ec1dbdd61ed06        88K  39.4G    88K  legacy                                                   
hdd/.system/samba4                                     144K  39.4G   144K  legacy                                                   
hdd/.system/syslog-ea02119b0df4495ba64ec1dbdd61ed06    132K  39.4G   132K  legacy                                                   
hdd/esxi                                               203G   242G    56K  -                                                        
hdd/esxi1                                              203G   242G    56K  -