Включение дисковых квот на xfs?

Question

[Алексей Сундуков]

Не могу понять, почему не получается включить дисковые квоты на xfs-е по этому описанию: "Изучаем Linux, 101: Управление дисковыми квотами".


Система:

[root@mail ~]# uname -a
Linux 3.2.0-29-generic #46-Ubuntu SMP Fri Jul 27 17:03:23 UTC 2012 x86_64 x86_64 x86_64 GNU/Linux

Опции для монтирования с квотами включены:

[root@mail ~]# cat /etc/fstab
proc /proc proc defaults 0 0
none /dev/pts devpts gid=5,mode=620 0 0
/dev/md0 none swap sw 0 0
/dev/md1 /boot ext3 defaults 0 0
/dev/md2 / xfs defaults,usrquota,prjquota 0 0

… и как я понимаю даже смонтировалось:

[root@mail ~]# mount
/dev/md2 on / type xfs (rw,usrquota,prjquota)
proc on /proc type proc (rw)
sysfs on /sys type sysfs (rw,noexec,nosuid,nodev)
none on /sys/fs/fuse/connections type fusectl (rw)
none on /sys/kernel/debug type debugfs (rw)
none on /sys/kernel/security type securityfs (rw)
udev on /dev type devtmpfs (rw,mode=0755)
devpts on /dev/pts type devpts (rw,gid=5,mode=620)
tmpfs on /run type tmpfs (rw,noexec,nosuid,size=10%,mode=0755)
none on /run/lock type tmpfs (rw,noexec,nosuid,nodev,size=5242880)
none on /run/shm type tmpfs (rw,nosuid,nodev)
cgroup on /sys/fs/cgroup type tmpfs (rw,relatime,mode=755)
cgroup on /sys/fs/cgroup/cpuset type cgroup (rw,relatime,cpuset)
cgroup on /sys/fs/cgroup/cpu type cgroup (rw,relatime,cpu)
cgroup on /sys/fs/cgroup/cpuacct type cgroup (rw,relatime,cpuacct)
cgroup on /sys/fs/cgroup/memory type cgroup (rw,relatime,memory)
cgroup on /sys/fs/cgroup/devices type cgroup (rw,relatime,devices)
cgroup on /sys/fs/cgroup/freezer type cgroup (rw,relatime,freezer)
cgroup on /sys/fs/cgroup/blkio type cgroup (rw,relatime,blkio)
cgroup on /sys/fs/cgroup/perf_event type cgroup (rw,relatime,perf_event)

Пытаюсь включить квоту на директорию:

[root@mail ~]# ls -l /quotatest/xfs/
total 0
drwxrwxrwx 2 u1 u1 6 Feb 23 14:47 proj-dir1/
drwxrwxrwx 2 u1 u1 6 Feb 23 14:47 proj-dir2/

Активирую для проекта:

[root@mail ~]# cat /etc/projects
50:/quotatest/xfs/proj-dir1
[root@mail ~]# cat /etc/projid
dev-projects:50
[root@mail ~]# xfs_quota -x
xfs_quota> path
      Filesystem          Pathname
 000  /                   /dev/disk/by-uuid/44ec9386-66b3-4779-889d-c341fd67193b
[001] /quotatest/xfs/proj-dir1 /dev/disk/by-uuid/44ec9386-66b3-4779-889d-c341fd67193b (project 50, dev-projects)
xfs_quota> project -s dev-projects
Setting up project dev-projects (path /quotatest/xfs/proj-dir1)...
Processed 1 (/etc/projects and cmdline) paths for project dev-projects with recursion depth infinite (-1).
xfs_quota> limit -p bhard=15m dev-projects
xfs_quota: cannot set limits: Function not implemented
xfs_quota>

Почему так? В какую сторону копать? Буду благодарен за любую идею.

Answer 1

[Алексей Сундуков]

Разобрался в чем дело. Отпишу на будущее.

Как изначально я и подозревал дело в ограничении на квоты для /. Включение квот для неё через fstab просто не работает. Поэтому делать это нужно через опции монтирования корневой файловой системы при загрузке через флаг rootflags. На debian если загрузка идет через grub, то в /etc/default/grub дописываем/изменяем (для влючения квот проекта):

GRUB_CMDLINE_LINUX=«rootflags=prjquota»

далее запускаем update-grub (который пропишет это в /boot/grub/grub.cfg) после чего ребутимся. Квоты на корневой файловой системе доступны и можно задать квоту проекта на любую из её поддиректорий.

Comments

[Алексей Сундуков]

Кстати, mount для / показывает не корректную инфу. Точное состояние можно выяснить через cat /proc/mounts:

[root@mail ~]# mount | grep ' / '
/dev/md2 on / type xfs (rw,usrquota,prjquota)
[root@mail ~]# cat /proc/mounts | grep ' / '
rootfs / rootfs rw 0 0
/dev/disk/by-uuid/44ec9386-66b3-4779-889d-c341fd67193b / xfs rw,relatime,attr2,delaylog,noquota 0 0

Answer 2

[3vi1_0n3]

Первое, что пришло в голову.
Вы после включения квот в /etc/fstab файловую систему перемонтировали (mount /quotatest/xfs -o remount) или отмонтировали, а потом монтировали (umount /quotatest/xfs && mount /quotatest/xfs)?

Comments

[Алексей Сундуков]

После внесения изменений в fstab полностью ребутил машину.

Кстати, я тоже подумал в эту сторону. Нет, не монтировал. Потому как мне туда нечего подмонтировать. У меня софтовый RAID-1 и на нем две партиции, одна на ext3 и монтируется в /boot, вторая (все оставшееся место) в /. Поэтому один из вариантов почему у меня не работает был — нельзя ставить квоты на корень ФС. Но информации о таком виде запрета я ни где не нашел. Кроме того как я понимаю строка:

/dev/md2 on / type xfs (rw,usrquota,prjquota)

говорит о том, что для / квоты, в том числе квоты проекта, включены. Поэтому я ожидаю, что для директории /quotatest/xfs/proj-dir1 сработает квота проекта.

[3vi1_0n3]

Квоты ставятся как раз на корень файловой системы.
Попробую сегодня вечером проверить в таком виде, как у вас, (квоты на /, квоты на директорию) отпишусь, если раньше решения не будет.

[3vi1_0n3]

Посмотрел.
В примере по той ссылке, что вы приводили, есть вот такое:

[root@echidna ~]# mkfs -t xfs /dev/sda8
meta-data=/dev/sda8              isize=256    agcount=4, agsize=2622108 blks
         =                       sectsz=512   attr=2
data     =                       bsize=4096   blocks=10488429, imaxpct=25
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0
log      =internal log           bsize=4096   blocks=5121, version=2
         =                       sectsz=512   sunit=0 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0
[root@echidna ~]# mkdir -p /quotatest/ext4
[root@echidna ~]# mkdir -p /quotatest/xfs
[root@echidna ~]# mount /dev/sda7 /quotatest/ext4
[root@echidna ~]# mount /dev/sda8 /quotatest/xfs

А у вас это с корневым разделом одна файловая система. Поэтому вам надо квоты делать на корневую директорию, она же корень отдельной файловой системы, а не на отдельную директорию, как в примере, потому что там это отдельная файловая система.
Второй момент в примере:

xfs_quota> path
      Filesystem          Pathname
 000  /quotatest/xfs      /dev/sda8 (uquota, pquota)
[001] /quotatest/xfs/proj-dir1 /dev/sda8 (project 50, dev-projects)

Создал отдельный диск в виртуалке с xfs, подключил. Появились опции (uquota, pquota) в выводе команды path в xfs_quota.

Возможно имеет смысл сократить размер корневого раздела и выделить отдельный логический раздел под данные с квотированием.

[Алексей Сундуков]

Попытался проделать это на корневом разделе и xfs_quota> project -s dev-projects там действительно пробежался по всем файлам ФС. Но последующая команда не прошла:

xfs_quota> limit -p bhard=200000m dev-projects
xfs_quota: cannot set limits: Function not implemented

У меня, кстати, в path не выдается, что лимиты включены. Хотя mount же говорил обратное. Кстати, что выдает mount?

Переразбивку диска пока делать не хочу, это боевой сервер. Хочется для начала добиться квотирования на той разбивке фс, что есть в текущий момент. Кстати, мне казалось, что суть проектов в xfs это как раз иметь возможность установки квот на вложенных директориях (поскольку /quotatest/xfs/proj-dir1 находится в / для корой квотирование включено, то я рассчитывал на срабатывание квот для неё и всех её дочерних директорий, видимо ошибался).

[3vi1_0n3]

mount показывает, что квоты включены для корневого раздела и для нового диска.

[Алексей Сундуков]

Я правильно понимаю, что это происходит не на RAID-1?

[3vi1_0n3]

Правильно. Но там разницы нет, квоты работают на уровне файловой системы, независимо от того, на массиве она или нет.