Mint основан на debian (и ubuntu) так что никакой особой от них разницы не должен иметь.
Если нужно xfce то можно взять готовую официальную ветку ubuntu - xubuntu.
так же никаких проблем сменить de на уже настроенной системе нет, установив метапакет xubuntu-desktop.
И еще, покопайся в настройках автозапуска DE, поотключай все что тебе не нужно, то же самое со службами.
p.s. ubuntu и debian не самый лучший вариант для получения оптимальной сборки, но зато самые простые.
Самый эффективный (но и самый сложный) - это выбрать gentoo (можно arch но я не смотрел), поиграть с разными вариантами de... например я настраивал eeepc с 1 гигабайтом ram и 9" экраном, в качестве десктопа выбран - awesome, после запуска графического окружения в оперативной памяти было занято 54мб (для сравнения xubuntu с xfce занимало 300-400), так вот в этом конфиге можно было даже по современным сайтам в firefox лазить без того чтобы оно залезло в своп (если что youtube на такой слабой машине не работает, потому что тратит все ресурсы cpu на подзагрузку видео, очень неэффективный код).
Средний
