Разобрался в чем дело. Отпишу на будущее.
Как изначально я и подозревал дело в ограничении на квоты для /. Включение квот для неё через fstab просто не работает. Поэтому делать это нужно через опции монтирования корневой файловой системы при загрузке через флаг rootflags. На debian если загрузка идет через grub, то в /etc/default/grub дописываем/изменяем (для влючения квот проекта):
GRUB_CMDLINE_LINUX=«rootflags=prjquota»
далее запускаем update-grub (который пропишет это в /boot/grub/grub.cfg) после чего ребутимся. Квоты на корневой файловой системе доступны и можно задать квоту проекта на любую из её поддиректорий.
