toggle не срабатывает при клике на элемент. Не присваивает классы и не убирает.
А может, всё-таки срабатывает? Дважды - сначала добавляет класс, а затем убирает.
Клик происходит по label
А внутри label'а, предположу, есть ещё какой-то элемент, input, например? Здесь возникает вопрос уже к вам: о чём вы не знаете - о всплытии событий, или что клик по label'у вызывает клик по связанному элементу?
Предположу ещё - раз переключаете класс, то input является чекбоксом. Обрабатывайте на нём событие change вместо клика по label'у.