Как вариант отлавливать клик на body, и при клике убирать класс. т.е.
$('body').on('click', function(){
// убираем класс
})
а при клике на самом элементе отменить всплывание событие. то есть событие не дойдет до body
$('.nav-submenu').on('click', function(e){
e.stopPropagation();
// остальной код
})
P.S. Ваш кода можно сделать куда приятнее, если заменить
$('.nav-submenu').on('click', function(a) {submenu(this)});
на
$('.nav-submenu').on('click', submenu);
А внутри submenu
this и так будет ссылаться на объект, который вы в вашем случае передаете через параметр
a