Все зависит от того, какой тип хранилища используется. Может понадобится lvresize, а может просто в конфиге, в текстовом файле руками поправить на нужный размер.
Но операция по уменьшению размера это всегда страх убить машину целиком. Если заметил, на сайте нет даже мануала по такой операции, кроме shrink qcow2 files.
Делать свой селф-хостет почтовик можно, если знаете, что никто из ваших не будет спамить и заниматься рассылками, вернее и этим тоже можно заниматься, но надо уметь настраивать. Я бы на вашем месте глянул еще в сторону iRedMail, еще есть такой инструмент, как Proxmox Mail Gateway. Удачи.
