sudo apt-get remove `dpkg -l | grep xfce | grep ^ii | awk '{print $2}'`
dpkg -l - список всех пакетов
grep xfce | grep ^ii - выбираем строки где есть "xfce" и которые начинаются с "ii"
awk '{print $2}' - вычленяем только второй столбец (символ разделения пробел или табуляция)
ну и собственно с помощью ` ` скармливаем этот список apt-get remove
после этого можно ещё sudo apt-get autoremove запустить, подчистить ненужные установленные зависимости