не совсем понятно что вы хотели сделать в закомментированных строках. Мне кажется вам нужно просто сделать проверку: если при клике на элементе
<a> у его контейнера
<li> есть вложенный список - раскрыть список, по ссылке не переходить, иначе перейти по ссылке в кликнутом элементе.
$("#mli_open").parent(".mli_toggle").parent(".mli").click
- неправильно, т.к. у вас каждый раз навешивается обработчик при клике на topMenu, надо
$("#mli_open").parent(".mli_toggle").parent(".mli").off().click
. А лучше не навешивать его внутри другого обработчика.