Это не через Xmodmap делается, это надо хачить файл раскладки в /usr/share/X11/xkb/symbols.
Вот как например я меняю действия при нажатии "серого" Enter на действие Enter нормального (привычка фигли)
--- keypad.old 2017-03-26 22:34:14.000000000 +0700
+++ keypad 2017-11-13 15:43:17.528523496 +0700
@@ -14,7 +14,7 @@
key <KP1> { [ KP_End, KP_1 ] };
key <KP2> { [ KP_Down, KP_2 ] };
key <KP3> { [ KP_Next, KP_3 ] };
- key <KPEN> { [ KP_Enter ] };
+ key <KPEN> { [ Return ] };
key <KPEQ> { [ KP_Equal ] };
key <KP0> { [ KP_Insert, KP_0 ] };
В файле раскладки через запятую перечисляются коды, которые генерируются в разных группах.
man xkbcomp
man setxkbmap