xfce позиционируется как легковесная оболочка я бы понял еще 500-600мб, но 900 это уже многовато для неё.
ну так у вас где-то 600 и выходит
683183 K used memory
а те 976MiB это + буфера и кеши которые накапливаются при работе системы, например, кеширование в память данных диска которые запрашивает система для последующего быстрого доступа.
для наглядности смотри команду
free -wk
или
free -wh
чтобы сбросить лишнее можно выполнить команду:
sync; sudo sh -c "/usr/bin/echo 3 > /proc/sys/vm/drop_caches"