В линуксе самом по себе нет "элементов управления рабочего стола". В иксах даже "рабочего стола нет". Все эти элементы создаются и показываются каким-либо WM (Window Manager) или DE (Desktop Environment). Такими как Gnome, KDE, LXDE, ...
Вам нужно, чтобы после запуска иксов никакие DE не запускались, а запускалось только отображение картинки.
Для этого вам нужно разместить в $HOME шелл-скрипт с именем ".xinitrc", и в нем запускать приложение, которое будет отображать на экране то, что вам надо.
Команда "startx" запускает иксы, и выполняет этот скрипт. Когда скрипт завершится -- завершатся и иксы.
Например, вы можете воспользоваться утилитой feh, и сделать этот скрипт таким:
#!/bin/sh
feh -Z -F background.jpg