Надо запоминать обработчик, если не запоминаешь, то стандартными средствами не как, можно только отвязать все обработчики на конкретное событие.
Если через костыль, то в теории можно удалять из массива обработчиков на конкретном DOM элементе, элемент в котором храниться этот обработчик.