Спустя какое то время сам решил все таки разобраться с вопросом, наверное забыл сказать, что ОС DomU CentOS7.
В общем все просто и xen тут совершенно не причем, все дело в kdump, он резервирует память:
Reserving 161MB of memory at 720MB for crashkernel
Вывод команд cat /proc/cmdline и free c kdump:
root=/dev/mapper/centos_t-root ro rd.lvm.lv=centos_t/root crashkernel=auto rd.lvm.lv=centos_t/swap LANG=en_US.UTF-8 systemd.log_level=debug systemd.log_target=kmsg
Mem: 1315164 107800 1102036 16580 105328 1164352
И без него:
root=/dev/mapper/centos_t-root ro rd.lvm.lv=centos_t/root rd.lvm.lv=centos_t/swap LANG=en_US.UTF-8 systemd.log_level=debug systemd.log_target=kmsg
Mem: 1480028 107620 1267208 16580 105200 1328432
Как видно объем памяти увеличился.
Остальная память так же уходит на нужды ядра.