Нашел сомнительный но рабочий способ решения проблемы.
$ cd .config/
$/.config $ touch xmodmap.sh
$/.config $ chmod 777 xmodmap.sh
$/.config $ vim xmodmap.sh
VIM или Nano по вкусу.
#!/bin/bash
xmodmap ~/.Xmodmap
Exit 0
Затем в меню автозагрузки добавил этот скрипт с тайм аутом в 1 секунду после старта.