fluxbox не занимается глубиной цвета, ему на это положить.
Глубиной цвета и разрешением занимается Xserver.
Его настройки сильно зависят от видеокарты, так что тут стоит, как минимум, сгенерить базовый конфиг и начать его править, параллельно читая man 5 xorg.conf, если нет гуёвого конфигуратора видеорежимов.
Как вариант - найти, где в вашем дистрибутиве ставятся дополнительные параметры к запуску Xorg и добавить
-depth 8